{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "89b89f64d8f8053d",
   "metadata": {
    "collapsed": false,
    "id": "89b89f64d8f8053d",
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "# 单卡GPU 进行 ChatGLM3-6B模型 LORA 高效微调\n",
    "本 Cookbook 将带领开发者使用 `AdvertiseGen` 对 ChatGLM3-6B 数据集进行 lora微调，使其具备专业的广告生成能力。\n",
    "\n",
    "## 硬件需求\n",
    "显存：24GB及以上（推荐使用30系或A10等sm80架构以上的NVIDIA显卡进行尝试）\n",
    "内存：16GB\n",
    "RAM: 2.9 /16 GB\n",
    "GPU RAM: 15.5/16.0 GB"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a7bd9a514ed09ea6",
   "metadata": {
    "collapsed": false,
    "id": "a7bd9a514ed09ea6",
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "## 0. 环境检查\n",
    "首先，先检查代码的运行地址，确保运行地址处于 `finetune_demo` 中。\n",
    "并且，确保已经安装了 `requirements.txt`中的依赖。\n",
    "\n",
    "> 本 demo 中，不需要使用 deepspeed, mpi4py 两个依赖，如果您安装这两个依赖遇到问题，可以不安装这两个依赖。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "f7703109d1443346",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-04-14T05:29:22.200365Z",
     "start_time": "2024-04-14T05:29:22.080929Z"
    },
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "/root/gaoliang/study/ChatGLM3/finetune_demo\n"
     ]
    }
   ],
   "source": [
    "!pwd"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2f50e92810011977",
   "metadata": {
    "collapsed": false,
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "## 1. 准备数据集\n",
    "我们使用 AdvertiseGen 数据集来进行微调。从 [Google Drive](https://drive.google.com/file/d/13_vf0xRTQsyneRKdD1bZIr93vBGOczrk/view?usp=sharing) 或者 [Tsinghua Cloud](https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1) 下载处理好的 AdvertiseGen 数据集，将解压后的 AdvertiseGen 目录放到本目录的 `/data/` 下, 例如。\n",
    "> /media/zr/Data/Code/ChatGLM3/finetune_demo/data/AdvertiseGen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "initial_id",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-04-14T05:29:23.809255Z",
     "start_time": "2024-04-14T05:29:22.202731Z"
    },
    "cellView": "form",
    "id": "initial_id"
   },
   "outputs": [],
   "source": [
    "import json\n",
    "from typing import Union\n",
    "from pathlib import Path\n",
    "\n",
    "\n",
    "def _resolve_path(path: Union[str, Path]) -> Path:\n",
    "    return Path(path).expanduser().resolve()\n",
    "\n",
    "\n",
    "def _mkdir(dir_name: Union[str, Path]):\n",
    "    dir_name = _resolve_path(dir_name)\n",
    "    if not dir_name.is_dir():\n",
    "        dir_name.mkdir(parents=True, exist_ok=False)\n",
    "\n",
    "\n",
    "def convert_adgen(data_dir: Union[str, Path], save_dir: Union[str, Path]):\n",
    "    def _convert(in_file: Path, out_file: Path):\n",
    "        _mkdir(out_file.parent)\n",
    "        with open(in_file, encoding='utf-8') as fin:\n",
    "            with open(out_file, 'wt', encoding='utf-8') as fout:\n",
    "                for line in fin:\n",
    "                    dct = json.loads(line)\n",
    "                    sample = {'conversations': [{'role': 'user', 'content': dct['content']},\n",
    "                                                {'role': 'assistant', 'content': dct['summary']}]}\n",
    "                    fout.write(json.dumps(sample, ensure_ascii=False) + '\\n')\n",
    "\n",
    "    data_dir = _resolve_path(data_dir)\n",
    "    save_dir = _resolve_path(save_dir)\n",
    "\n",
    "    train_file = data_dir / 'train.json'\n",
    "    if train_file.is_file():\n",
    "        out_file = save_dir / train_file.relative_to(data_dir)\n",
    "        _convert(train_file, out_file)\n",
    "\n",
    "    dev_file = data_dir / 'dev.json'\n",
    "    if dev_file.is_file():\n",
    "        out_file = save_dir / dev_file.relative_to(data_dir)\n",
    "        _convert(dev_file, out_file)\n",
    "\n",
    "\n",
    "convert_adgen('data/AdvertiseGen', 'data/AdvertiseGen_fix')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a1b7a99923349056",
   "metadata": {
    "collapsed": false,
    "id": "a1b7a99923349056",
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "## 2. 使用命令行开始微调,我们使用 lora 进行微调\n",
    "接着，我们仅需要将配置好的参数以命令行的形式传参给程序，就可以使用命令行进行高效微调。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "b9b276c5-12c5-4ec9-89a6-72b1715be3bd",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple\n",
      "Collecting jieba\n",
      "  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/c6/cb/18eeb235f833b726522d7ebed54f2278ce28ba9438e3135ab0278d9792a2/jieba-0.42.1.tar.gz (19.2 MB)\n",
      "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m19.2/19.2 MB\u001b[0m \u001b[31m7.5 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m00:01\u001b[0m00:01\u001b[0m\n",
      "\u001b[?25h  Preparing metadata (setup.py) ... \u001b[?25ldone\n",
      "\u001b[?25hBuilding wheels for collected packages: jieba\n",
      "  Building wheel for jieba (setup.py) ... \u001b[?25ldone\n",
      "\u001b[?25h  Created wheel for jieba: filename=jieba-0.42.1-py3-none-any.whl size=19314459 sha256=70bb4dc1bb45da869fa068b55c60a677be03134f23b44adae5e3c1af382d66e7\n",
      "  Stored in directory: /root/.cache/pip/wheels/b2/9b/80/7537177f75993c29af08e0d00c753724c7f06c646352be50a3\n",
      "Successfully built jieba\n",
      "Installing collected packages: jieba\n",
      "Successfully installed jieba-0.42.1\n",
      "\u001b[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv\u001b[0m\u001b[33m\n",
      "\u001b[0m"
     ]
    }
   ],
   "source": [
    "!pip install jieba"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "c1379229-0f24-43ef-a1a5-2869516dc0fe",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple\n",
      "Collecting ruamel.yaml\n",
      "  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/73/67/8ece580cc363331d9a53055130f86b096bf16e38156e33b1d3014fffda6b/ruamel.yaml-0.18.6-py3-none-any.whl (117 kB)\n",
      "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m117.8/117.8 kB\u001b[0m \u001b[31m11.9 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
      "\u001b[?25hCollecting ruamel.yaml.clib>=0.2.7 (from ruamel.yaml)\n",
      "  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/d3/62/c60b034d9a008bbd566eeecf53a5a4c73d191c8de261290db6761802b72d/ruamel.yaml.clib-0.2.8-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.manylinux_2_24_x86_64.whl (526 kB)\n",
      "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m526.7/526.7 kB\u001b[0m \u001b[31m8.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0ma \u001b[36m0:00:01\u001b[0m\n",
      "\u001b[?25hInstalling collected packages: ruamel.yaml.clib, ruamel.yaml\n",
      "Successfully installed ruamel.yaml-0.18.6 ruamel.yaml.clib-0.2.8\n",
      "\u001b[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv\u001b[0m\u001b[33m\n",
      "\u001b[0m"
     ]
    }
   ],
   "source": [
    "!pip install ruamel.yaml"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "7e113e8b-c232-45dd-99a2-de550835a9a4",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple\n",
      "Collecting nltk\n",
      "  Using cached https://pypi.tuna.tsinghua.edu.cn/packages/a6/0a/0d20d2c0f16be91b9fa32a77b76c60f9baf6eba419e5ef5deca17af9c582/nltk-3.8.1-py3-none-any.whl (1.5 MB)\n",
      "Requirement already satisfied: click in /root/miniconda3/envs/peft/lib/python3.10/site-packages (from nltk) (8.1.7)\n",
      "Requirement already satisfied: joblib in /root/miniconda3/envs/peft/lib/python3.10/site-packages (from nltk) (1.3.2)\n",
      "Requirement already satisfied: regex>=2021.8.3 in /root/miniconda3/envs/peft/lib/python3.10/site-packages (from nltk) (2023.12.25)\n",
      "Requirement already satisfied: tqdm in /root/miniconda3/envs/peft/lib/python3.10/site-packages (from nltk) (4.66.2)\n",
      "Installing collected packages: nltk\n",
      "Successfully installed nltk-3.8.1\n",
      "\u001b[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv\u001b[0m\u001b[33m\n",
      "\u001b[0m"
     ]
    }
   ],
   "source": [
    "!pip install nltk"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "1efdd79c-ed4b-4906-89c8-936cbc0631d7",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple\n",
      "Collecting rouge_chinese\n",
      "  Downloading https://pypi.tuna.tsinghua.edu.cn/packages/03/0f/394cf877be7b903881020ef7217f7dc644dad158d52a9353fcab22e3464d/rouge_chinese-1.0.3-py3-none-any.whl (21 kB)\n",
      "Requirement already satisfied: six in /root/miniconda3/envs/peft/lib/python3.10/site-packages (from rouge_chinese) (1.16.0)\n",
      "Installing collected packages: rouge_chinese\n",
      "Successfully installed rouge_chinese-1.0.3\n",
      "\u001b[33mWARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv\u001b[0m\u001b[33m\n",
      "\u001b[0m"
     ]
    }
   ],
   "source": [
    "!pip install rouge_chinese"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "17c87410a24d844f",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-04-14T06:23:41.282431Z",
     "start_time": "2024-04-14T05:29:23.810692Z"
    },
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "17c87410a24d844f",
    "outputId": "e347fc7d-875e-40c9-c682-3e064100476b"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Setting eos_token is not supported, use the default one.\n",
      "Setting pad_token is not supported, use the default one.\n",
      "Setting unk_token is not supported, use the default one.\n",
      "Loading checkpoint shards: 100%|██████████████████| 7/7 [00:01<00:00,  6.46it/s]\n",
      "trainable params: 1,949,696 || all params: 6,245,533,696 || trainable%: 0.031217444255383614\n",
      "--> Model\n",
      "\n",
      "--> model has 1.949696M params\n",
      "\n",
      "Setting num_proc from 16 back to 1 for the train split to disable multiprocessing as it only contains one shard.\n",
      "Generating train split: 114599 examples [00:00, 1975898.69 examples/s]\n",
      "Setting num_proc from 16 back to 1 for the validation split to disable multiprocessing as it only contains one shard.\n",
      "Generating validation split: 1070 examples [00:00, 732958.56 examples/s]\n",
      "Setting num_proc from 16 back to 1 for the test split to disable multiprocessing as it only contains one shard.\n",
      "Generating test split: 1070 examples [00:00, 1021371.25 examples/s]\n",
      "Map (num_proc=16): 100%|█████| 114599/114599 [00:01<00:00, 101331.89 examples/s]\n",
      "train_dataset: Dataset({\n",
      "    features: ['input_ids', 'labels'],\n",
      "    num_rows: 114599\n",
      "})\n",
      "Map (num_proc=16): 100%|███████████| 1070/1070 [00:00<00:00, 2841.73 examples/s]\n",
      "val_dataset: Dataset({\n",
      "    features: ['input_ids', 'output_ids'],\n",
      "    num_rows: 1070\n",
      "})\n",
      "Map (num_proc=16): 100%|███████████| 1070/1070 [00:00<00:00, 2870.26 examples/s]\n",
      "test_dataset: Dataset({\n",
      "    features: ['input_ids', 'output_ids'],\n",
      "    num_rows: 1070\n",
      "})\n",
      "--> Sanity check\n",
      "           '[gMASK]': 64790 -> -100\n",
      "               'sop': 64792 -> -100\n",
      "          '<|user|>': 64795 -> -100\n",
      "                  '': 30910 -> -100\n",
      "                '\\n': 13 -> -100\n",
      "                  '': 30910 -> -100\n",
      "                '类型': 33467 -> -100\n",
      "                 '#': 31010 -> -100\n",
      "                 '裤': 56532 -> -100\n",
      "                 '*': 30998 -> -100\n",
      "                 '版': 55090 -> -100\n",
      "                 '型': 54888 -> -100\n",
      "                 '#': 31010 -> -100\n",
      "                '宽松': 40833 -> -100\n",
      "                 '*': 30998 -> -100\n",
      "                '风格': 32799 -> -100\n",
      "                 '#': 31010 -> -100\n",
      "                '性感': 40589 -> -100\n",
      "                 '*': 30998 -> -100\n",
      "                '图案': 37505 -> -100\n",
      "                 '#': 31010 -> -100\n",
      "                '线条': 37216 -> -100\n",
      "                 '*': 30998 -> -100\n",
      "                 '裤': 56532 -> -100\n",
      "                 '型': 54888 -> -100\n",
      "                 '#': 31010 -> -100\n",
      "                 '阔': 56529 -> -100\n",
      "                 '腿': 56158 -> -100\n",
      "                 '裤': 56532 -> -100\n",
      "     '<|assistant|>': 64796 -> -100\n",
      "                  '': 30910 -> 30910\n",
      "                '\\n': 13 -> 13\n",
      "                  '': 30910 -> 30910\n",
      "                '宽松': 40833 -> 40833\n",
      "                 '的': 54530 -> 54530\n",
      "                 '阔': 56529 -> 56529\n",
      "                 '腿': 56158 -> 56158\n",
      "                 '裤': 56532 -> 56532\n",
      "                 '这': 54551 -> 54551\n",
      "                '两年': 33808 -> 33808\n",
      "                '真的': 32041 -> 32041\n",
      "                 '吸': 55360 -> 55360\n",
      "                 '粉': 55486 -> 55486\n",
      "                '不少': 32138 -> 32138\n",
      "                 '，': 31123 -> 31123\n",
      "                '明星': 32943 -> 32943\n",
      "                '时尚': 33481 -> 33481\n",
      "                 '达': 54880 -> 54880\n",
      "                '人的': 31664 -> 31664\n",
      "                '心头': 46565 -> 46565\n",
      "                 '爱': 54799 -> 54799\n",
      "                 '。': 31155 -> 31155\n",
      "                '毕竟': 33051 -> 33051\n",
      "                 '好': 54591 -> 54591\n",
      "                 '穿': 55432 -> 55432\n",
      "                '时尚': 33481 -> 33481\n",
      "                 '，': 31123 -> 31123\n",
      "                 '谁': 55622 -> 55622\n",
      "                '都能': 32904 -> 32904\n",
      "                 '穿': 55432 -> 55432\n",
      "                 '出': 54557 -> 54557\n",
      "                 '腿': 56158 -> 56158\n",
      "                 '长': 54625 -> 54625\n",
      "                 '2': 30943 -> 30943\n",
      "                 '米': 55055 -> 55055\n",
      "               '的效果': 35590 -> 35590\n",
      "                '宽松': 40833 -> 40833\n",
      "                 '的': 54530 -> 54530\n",
      "                 '裤': 56532 -> 56532\n",
      "                 '腿': 56158 -> 56158\n",
      "                 '，': 31123 -> 31123\n",
      "               '当然是': 48466 -> 48466\n",
      "                 '遮': 57148 -> 57148\n",
      "                 '肉': 55343 -> 55343\n",
      "                 '小': 54603 -> 54603\n",
      "                '能手': 49355 -> 49355\n",
      "                 '啊': 55674 -> 55674\n",
      "                 '。': 31155 -> 31155\n",
      "                '上身': 51605 -> 51605\n",
      "                 '随': 55119 -> 55119\n",
      "                 '性': 54642 -> 54642\n",
      "                '自然': 31799 -> 31799\n",
      "                 '不': 54535 -> 54535\n",
      "                 '拘': 57036 -> 57036\n",
      "                 '束': 55625 -> 55625\n",
      "                 '，': 31123 -> 31123\n",
      "                '面料': 46839 -> 46839\n",
      "                 '亲': 55113 -> 55113\n",
      "                 '肤': 56089 -> 56089\n",
      "                '舒适': 33894 -> 33894\n",
      "                 '贴': 55778 -> 55778\n",
      "                '身体': 31902 -> 31902\n",
      "                 '验': 55017 -> 55017\n",
      "                 '感': 54706 -> 54706\n",
      "                 '棒': 56382 -> 56382\n",
      "                 '棒': 56382 -> 56382\n",
      "                 '哒': 59230 -> 59230\n",
      "                 '。': 31155 -> 31155\n",
      "                 '系': 54712 -> 54712\n",
      "                 '带': 54882 -> 54882\n",
      "                '部分': 31726 -> 31726\n",
      "                '增加': 31917 -> 31917\n",
      "                '设计': 31735 -> 31735\n",
      "                '看点': 45032 -> 45032\n",
      "                 '，': 31123 -> 31123\n",
      "                 '还': 54656 -> 54656\n",
      "                 '让': 54772 -> 54772\n",
      "                '单品': 46539 -> 46539\n",
      "               '的设计': 34481 -> 34481\n",
      "                 '感': 54706 -> 54706\n",
      "                '更强': 43084 -> 43084\n",
      "                 '。': 31155 -> 31155\n",
      "                '腿部': 46799 -> 46799\n",
      "                '线条': 37216 -> 37216\n",
      "                 '若': 55351 -> 55351\n",
      "                 '隐': 55733 -> 55733\n",
      "                 '若': 55351 -> 55351\n",
      "                 '现': 54600 -> 54600\n",
      "                 '的': 54530 -> 54530\n",
      "                 '，': 31123 -> 31123\n",
      "                '性感': 40589 -> 40589\n",
      "                 '撩': 58521 -> 58521\n",
      "                 '人': 54533 -> 54533\n",
      "                 '。': 31155 -> 31155\n",
      "                '颜色': 33692 -> 33692\n",
      "                 '敲': 57004 -> 57004\n",
      "                '温柔': 34678 -> 34678\n",
      "                 '的': 54530 -> 54530\n",
      "                 '，': 31123 -> 31123\n",
      "                 '与': 54619 -> 54619\n",
      "                '裤子': 44722 -> 44722\n",
      "                '本身': 32754 -> 32754\n",
      "                 '所': 54626 -> 54626\n",
      "                '呈现': 33169 -> 33169\n",
      "               '的风格': 48084 -> 48084\n",
      "                '有点': 33149 -> 33149\n",
      "                 '反': 54955 -> 54955\n",
      "                 '差': 55342 -> 55342\n",
      "                 '萌': 56842 -> 56842\n",
      "                 '。': 31155 -> 31155\n",
      "                  '': 2 -> 2\n",
      "max_steps is given, it will override any value given in num_train_epochs\n",
      "***** Running training *****\n",
      "  Num examples = 114,599\n",
      "  Num Epochs = 1\n",
      "  Instantaneous batch size per device = 4\n",
      "  Total train batch size (w. parallel, distributed & accumulation) = 4\n",
      "  Gradient Accumulation steps = 1\n",
      "  Total optimization steps = 6,000\n",
      "  Number of trainable parameters = 1,949,696\n",
      "{'loss': 4.8273, 'grad_norm': 2.3618853092193604, 'learning_rate': 4.991666666666667e-05, 'epoch': 0.0}\n",
      "{'loss': 4.5949, 'grad_norm': 3.2885923385620117, 'learning_rate': 4.9833333333333336e-05, 'epoch': 0.0}\n",
      "{'loss': 4.4773, 'grad_norm': 3.106867790222168, 'learning_rate': 4.975e-05, 'epoch': 0.0}\n",
      "{'loss': 4.1123, 'grad_norm': 3.524233818054199, 'learning_rate': 4.966666666666667e-05, 'epoch': 0.0}\n",
      "{'loss': 4.1078, 'grad_norm': 2.7783498764038086, 'learning_rate': 4.958333333333334e-05, 'epoch': 0.0}\n",
      "{'loss': 3.8576, 'grad_norm': 3.0393688678741455, 'learning_rate': 4.9500000000000004e-05, 'epoch': 0.0}\n",
      "{'loss': 3.8355, 'grad_norm': 2.9531540870666504, 'learning_rate': 4.9416666666666664e-05, 'epoch': 0.0}\n",
      "{'loss': 3.741, 'grad_norm': 3.0309529304504395, 'learning_rate': 4.933333333333334e-05, 'epoch': 0.0}\n",
      "{'loss': 3.6311, 'grad_norm': 3.277190923690796, 'learning_rate': 4.9250000000000004e-05, 'epoch': 0.0}\n",
      "{'loss': 3.7156, 'grad_norm': 3.5126004219055176, 'learning_rate': 4.9166666666666665e-05, 'epoch': 0.0}\n",
      "{'loss': 3.6625, 'grad_norm': 3.6964683532714844, 'learning_rate': 4.908333333333334e-05, 'epoch': 0.0}\n",
      "{'loss': 3.8424, 'grad_norm': 3.9222710132598877, 'learning_rate': 4.9e-05, 'epoch': 0.0}\n",
      "{'loss': 3.6104, 'grad_norm': 3.542802095413208, 'learning_rate': 4.891666666666667e-05, 'epoch': 0.0}\n",
      "{'loss': 3.723, 'grad_norm': 4.503744125366211, 'learning_rate': 4.883333333333334e-05, 'epoch': 0.0}\n",
      "{'loss': 3.6789, 'grad_norm': 3.773778200149536, 'learning_rate': 4.875e-05, 'epoch': 0.01}\n",
      "{'loss': 3.7385, 'grad_norm': 4.058570861816406, 'learning_rate': 4.866666666666667e-05, 'epoch': 0.01}\n",
      "{'loss': 3.568, 'grad_norm': 4.214943885803223, 'learning_rate': 4.858333333333333e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5682, 'grad_norm': 4.411564350128174, 'learning_rate': 4.85e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5451, 'grad_norm': 4.984194755554199, 'learning_rate': 4.8416666666666673e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5762, 'grad_norm': 4.6161723136901855, 'learning_rate': 4.8333333333333334e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5473, 'grad_norm': 5.027957439422607, 'learning_rate': 4.825e-05, 'epoch': 0.01}\n",
      "{'loss': 3.6395, 'grad_norm': 4.128661632537842, 'learning_rate': 4.8166666666666674e-05, 'epoch': 0.01}\n",
      "{'loss': 3.6102, 'grad_norm': 4.924863815307617, 'learning_rate': 4.8083333333333334e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5061, 'grad_norm': 4.623411178588867, 'learning_rate': 4.8e-05, 'epoch': 0.01}\n",
      "{'loss': 3.4725, 'grad_norm': 5.431228160858154, 'learning_rate': 4.791666666666667e-05, 'epoch': 0.01}\n",
      "{'loss': 3.6018, 'grad_norm': 5.405457019805908, 'learning_rate': 4.7833333333333335e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5453, 'grad_norm': 5.483827590942383, 'learning_rate': 4.775e-05, 'epoch': 0.01}\n",
      "{'loss': 3.6127, 'grad_norm': 4.598979473114014, 'learning_rate': 4.766666666666667e-05, 'epoch': 0.01}\n",
      "{'loss': 3.6283, 'grad_norm': 4.839903354644775, 'learning_rate': 4.7583333333333336e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5371, 'grad_norm': 5.967355728149414, 'learning_rate': 4.75e-05, 'epoch': 0.01}\n",
      "{'loss': 3.4613, 'grad_norm': 5.511001110076904, 'learning_rate': 4.741666666666667e-05, 'epoch': 0.01}\n",
      "{'loss': 3.6045, 'grad_norm': 5.866389751434326, 'learning_rate': 4.7333333333333336e-05, 'epoch': 0.01}\n",
      "{'loss': 3.4145, 'grad_norm': 5.315191745758057, 'learning_rate': 4.7249999999999997e-05, 'epoch': 0.01}\n",
      "{'loss': 3.4879, 'grad_norm': 5.387899398803711, 'learning_rate': 4.716666666666667e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5166, 'grad_norm': 5.669776916503906, 'learning_rate': 4.708333333333334e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5703, 'grad_norm': 5.294021129608154, 'learning_rate': 4.7e-05, 'epoch': 0.01}\n",
      "{'loss': 3.3613, 'grad_norm': 4.941613674163818, 'learning_rate': 4.691666666666667e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5275, 'grad_norm': 5.208560466766357, 'learning_rate': 4.683333333333334e-05, 'epoch': 0.01}\n",
      "{'loss': 3.5199, 'grad_norm': 5.304714679718018, 'learning_rate': 4.6750000000000005e-05, 'epoch': 0.01}\n",
      "{'loss': 3.4688, 'grad_norm': 5.666632652282715, 'learning_rate': 4.666666666666667e-05, 'epoch': 0.01}\n",
      "{'loss': 3.6896, 'grad_norm': 5.600931167602539, 'learning_rate': 4.658333333333333e-05, 'epoch': 0.01}\n",
      "{'loss': 3.4947, 'grad_norm': 5.029160022735596, 'learning_rate': 4.6500000000000005e-05, 'epoch': 0.01}\n",
      "{'loss': 3.6225, 'grad_norm': 5.721644401550293, 'learning_rate': 4.641666666666667e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4166, 'grad_norm': 6.677211761474609, 'learning_rate': 4.633333333333333e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4115, 'grad_norm': 6.152547836303711, 'learning_rate': 4.6250000000000006e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4262, 'grad_norm': 5.642498970031738, 'learning_rate': 4.6166666666666666e-05, 'epoch': 0.02}\n",
      "{'loss': 3.5311, 'grad_norm': 5.720475673675537, 'learning_rate': 4.608333333333333e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4484, 'grad_norm': 7.243997573852539, 'learning_rate': 4.600000000000001e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4598, 'grad_norm': 5.872958660125732, 'learning_rate': 4.591666666666667e-05, 'epoch': 0.02}\n",
      "{'loss': 3.559, 'grad_norm': 5.966167449951172, 'learning_rate': 4.5833333333333334e-05, 'epoch': 0.02}\n",
      "  8%|███▏                                  | 500/6000 [04:50<1:00:36,  1.51it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:12<00:12,  6.06s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:23<00:08,  8.47s/it]\u001b[A\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:33<00:00,  8.70s/it]\u001b[ABuilding prefix dict from the default dictionary ...\n",
      "Loading model from cache /tmp/jieba.cache\n",
      "Loading model cost 0.242 seconds.\n",
      "Prefix dict has been built successfully.\n",
      "                                                                                \n",
      "\u001b[A{'eval_rouge-1': 31.335096, 'eval_rouge-2': 6.86982, 'eval_rouge-l': 23.712276000000003, 'eval_bleu-4': 0.03319959577237771, 'eval_runtime': 35.2947, 'eval_samples_per_second': 1.417, 'eval_steps_per_second': 0.113, 'epoch': 0.02}\n",
      "  8%|███▏                                  | 500/6000 [05:25<1:00:36,  1.51it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:33<00:00,  8.70s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-500\n",
      "{'loss': 3.3236, 'grad_norm': 5.803344249725342, 'learning_rate': 4.575e-05, 'epoch': 0.02}\n",
      "{'loss': 3.5449, 'grad_norm': 6.74118185043335, 'learning_rate': 4.566666666666667e-05, 'epoch': 0.02}\n",
      "{'loss': 3.5789, 'grad_norm': 6.01235818862915, 'learning_rate': 4.5583333333333335e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4848, 'grad_norm': 5.446526527404785, 'learning_rate': 4.55e-05, 'epoch': 0.02}\n",
      "{'loss': 3.5242, 'grad_norm': 5.459441661834717, 'learning_rate': 4.541666666666667e-05, 'epoch': 0.02}\n",
      "{'loss': 3.6457, 'grad_norm': 5.861885070800781, 'learning_rate': 4.5333333333333335e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4945, 'grad_norm': 5.888882637023926, 'learning_rate': 4.525e-05, 'epoch': 0.02}\n",
      "{'loss': 3.3717, 'grad_norm': 5.698605537414551, 'learning_rate': 4.516666666666667e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4211, 'grad_norm': 6.244776725769043, 'learning_rate': 4.5083333333333336e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4898, 'grad_norm': 6.618190765380859, 'learning_rate': 4.5e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4373, 'grad_norm': 6.265483379364014, 'learning_rate': 4.491666666666667e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4551, 'grad_norm': 6.75309419631958, 'learning_rate': 4.483333333333333e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4436, 'grad_norm': 6.017054080963135, 'learning_rate': 4.4750000000000004e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4516, 'grad_norm': 6.37977409362793, 'learning_rate': 4.466666666666667e-05, 'epoch': 0.02}\n",
      "{'loss': 3.5299, 'grad_norm': 6.009455680847168, 'learning_rate': 4.458333333333334e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4822, 'grad_norm': 6.430135726928711, 'learning_rate': 4.4500000000000004e-05, 'epoch': 0.02}\n",
      "{'loss': 3.5389, 'grad_norm': 6.246955871582031, 'learning_rate': 4.4416666666666664e-05, 'epoch': 0.02}\n",
      "{'loss': 3.3053, 'grad_norm': 7.263232707977295, 'learning_rate': 4.433333333333334e-05, 'epoch': 0.02}\n",
      "{'loss': 3.3965, 'grad_norm': 6.759753227233887, 'learning_rate': 4.4250000000000005e-05, 'epoch': 0.02}\n",
      "{'loss': 3.3512, 'grad_norm': 6.1923322677612305, 'learning_rate': 4.4166666666666665e-05, 'epoch': 0.02}\n",
      "{'loss': 3.4971, 'grad_norm': 7.077319145202637, 'learning_rate': 4.408333333333334e-05, 'epoch': 0.02}\n",
      "{'loss': 3.5279, 'grad_norm': 6.770688533782959, 'learning_rate': 4.4000000000000006e-05, 'epoch': 0.03}\n",
      "{'loss': 3.2439, 'grad_norm': 6.9840006828308105, 'learning_rate': 4.3916666666666666e-05, 'epoch': 0.03}\n",
      "{'loss': 3.5689, 'grad_norm': 5.776336193084717, 'learning_rate': 4.383333333333334e-05, 'epoch': 0.03}\n",
      "{'loss': 3.3969, 'grad_norm': 6.482878684997559, 'learning_rate': 4.375e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4758, 'grad_norm': 6.3286614418029785, 'learning_rate': 4.3666666666666666e-05, 'epoch': 0.03}\n",
      "{'loss': 3.6221, 'grad_norm': 6.510342597961426, 'learning_rate': 4.358333333333334e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4752, 'grad_norm': 6.386752605438232, 'learning_rate': 4.35e-05, 'epoch': 0.03}\n",
      "{'loss': 3.3256, 'grad_norm': 6.721738815307617, 'learning_rate': 4.341666666666667e-05, 'epoch': 0.03}\n",
      "{'loss': 3.5477, 'grad_norm': 7.008855819702148, 'learning_rate': 4.3333333333333334e-05, 'epoch': 0.03}\n",
      "{'loss': 3.2859, 'grad_norm': 6.749621868133545, 'learning_rate': 4.325e-05, 'epoch': 0.03}\n",
      "{'loss': 3.359, 'grad_norm': 6.571797847747803, 'learning_rate': 4.316666666666667e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4584, 'grad_norm': 7.190011978149414, 'learning_rate': 4.3083333333333335e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4051, 'grad_norm': 6.350744247436523, 'learning_rate': 4.3e-05, 'epoch': 0.03}\n",
      "{'loss': 3.5111, 'grad_norm': 6.259755611419678, 'learning_rate': 4.291666666666667e-05, 'epoch': 0.03}\n",
      "{'loss': 3.5279, 'grad_norm': 6.194136142730713, 'learning_rate': 4.2833333333333335e-05, 'epoch': 0.03}\n",
      "{'loss': 3.2916, 'grad_norm': 7.23460578918457, 'learning_rate': 4.275e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4887, 'grad_norm': 6.804147243499756, 'learning_rate': 4.266666666666667e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4465, 'grad_norm': 7.305961608886719, 'learning_rate': 4.2583333333333336e-05, 'epoch': 0.03}\n",
      "{'loss': 3.2643, 'grad_norm': 7.7823991775512695, 'learning_rate': 4.25e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4594, 'grad_norm': 7.77366828918457, 'learning_rate': 4.241666666666667e-05, 'epoch': 0.03}\n",
      "{'loss': 3.416, 'grad_norm': 6.923510551452637, 'learning_rate': 4.233333333333334e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4549, 'grad_norm': 7.49260950088501, 'learning_rate': 4.2250000000000004e-05, 'epoch': 0.03}\n",
      "{'loss': 3.5668, 'grad_norm': 7.287068843841553, 'learning_rate': 4.216666666666667e-05, 'epoch': 0.03}\n",
      "{'loss': 3.3582, 'grad_norm': 6.539381980895996, 'learning_rate': 4.208333333333334e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4344, 'grad_norm': 7.879849433898926, 'learning_rate': 4.2e-05, 'epoch': 0.03}\n",
      "{'loss': 3.5346, 'grad_norm': 5.955877304077148, 'learning_rate': 4.191666666666667e-05, 'epoch': 0.03}\n",
      "{'loss': 3.3215, 'grad_norm': 7.01133394241333, 'learning_rate': 4.183333333333334e-05, 'epoch': 0.03}\n",
      "{'loss': 3.4586, 'grad_norm': 7.442018508911133, 'learning_rate': 4.175e-05, 'epoch': 0.03}\n",
      "{'loss': 3.3951, 'grad_norm': 8.09138298034668, 'learning_rate': 4.166666666666667e-05, 'epoch': 0.03}\n",
      " 17%|██████▌                                | 1000/6000 [10:13<50:01,  1.67it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:01<00:01,  1.22it/s]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:03<00:01,  1.12s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 32.39065, 'eval_rouge-2': 6.777673999999999, 'eval_rouge-l': 25.694302000000004, 'eval_bleu-4': 0.0344832329462418, 'eval_runtime': 6.3081, 'eval_samples_per_second': 7.926, 'eval_steps_per_second': 0.634, 'epoch': 0.03}\n",
      " 17%|██████▌                                | 1000/6000 [10:19<50:01,  1.67it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:04<00:00,  1.12s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-1000\n",
      "{'loss': 3.4486, 'grad_norm': 7.017367362976074, 'learning_rate': 4.158333333333333e-05, 'epoch': 0.04}\n",
      "{'loss': 3.4568, 'grad_norm': 7.3333892822265625, 'learning_rate': 4.15e-05, 'epoch': 0.04}\n",
      "{'loss': 3.6463, 'grad_norm': 7.9872870445251465, 'learning_rate': 4.141666666666667e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3982, 'grad_norm': 6.705760478973389, 'learning_rate': 4.133333333333333e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3896, 'grad_norm': 8.714763641357422, 'learning_rate': 4.125e-05, 'epoch': 0.04}\n",
      "{'loss': 3.352, 'grad_norm': 8.134989738464355, 'learning_rate': 4.116666666666667e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3855, 'grad_norm': 7.209839820861816, 'learning_rate': 4.1083333333333334e-05, 'epoch': 0.04}\n",
      "{'loss': 3.4541, 'grad_norm': 7.197063446044922, 'learning_rate': 4.1e-05, 'epoch': 0.04}\n",
      "{'loss': 3.5285, 'grad_norm': 7.018194675445557, 'learning_rate': 4.091666666666667e-05, 'epoch': 0.04}\n",
      "{'loss': 3.4629, 'grad_norm': 6.629310131072998, 'learning_rate': 4.0833333333333334e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3428, 'grad_norm': 6.874889373779297, 'learning_rate': 4.075e-05, 'epoch': 0.04}\n",
      "{'loss': 3.5238, 'grad_norm': 7.817321300506592, 'learning_rate': 4.066666666666667e-05, 'epoch': 0.04}\n",
      "{'loss': 3.4348, 'grad_norm': 7.471460819244385, 'learning_rate': 4.0583333333333335e-05, 'epoch': 0.04}\n",
      "{'loss': 3.358, 'grad_norm': 8.095355033874512, 'learning_rate': 4.05e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3178, 'grad_norm': 7.6732683181762695, 'learning_rate': 4.041666666666667e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3564, 'grad_norm': 7.2910003662109375, 'learning_rate': 4.0333333333333336e-05, 'epoch': 0.04}\n",
      "{'loss': 3.4518, 'grad_norm': 6.736188888549805, 'learning_rate': 4.025e-05, 'epoch': 0.04}\n",
      "{'loss': 3.473, 'grad_norm': 6.342398643493652, 'learning_rate': 4.016666666666667e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3557, 'grad_norm': 6.722536563873291, 'learning_rate': 4.0083333333333336e-05, 'epoch': 0.04}\n",
      "{'loss': 3.4057, 'grad_norm': 6.395775318145752, 'learning_rate': 4e-05, 'epoch': 0.04}\n",
      "{'loss': 3.2449, 'grad_norm': 6.580735206604004, 'learning_rate': 3.991666666666667e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3367, 'grad_norm': 7.512131690979004, 'learning_rate': 3.983333333333333e-05, 'epoch': 0.04}\n",
      "{'loss': 3.374, 'grad_norm': 7.463817119598389, 'learning_rate': 3.9750000000000004e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3766, 'grad_norm': 7.683374404907227, 'learning_rate': 3.966666666666667e-05, 'epoch': 0.04}\n",
      "{'loss': 3.4451, 'grad_norm': 6.792295932769775, 'learning_rate': 3.958333333333333e-05, 'epoch': 0.04}\n",
      "{'loss': 3.2826, 'grad_norm': 7.762797832489014, 'learning_rate': 3.9500000000000005e-05, 'epoch': 0.04}\n",
      "{'loss': 3.4572, 'grad_norm': 7.116126537322998, 'learning_rate': 3.941666666666667e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3275, 'grad_norm': 7.004001140594482, 'learning_rate': 3.933333333333333e-05, 'epoch': 0.04}\n",
      "{'loss': 3.3844, 'grad_norm': 6.832348823547363, 'learning_rate': 3.9250000000000005e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4799, 'grad_norm': 7.414741039276123, 'learning_rate': 3.9166666666666665e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4559, 'grad_norm': 7.137749195098877, 'learning_rate': 3.908333333333333e-05, 'epoch': 0.05}\n",
      "{'loss': 3.457, 'grad_norm': 6.627935886383057, 'learning_rate': 3.9000000000000006e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4008, 'grad_norm': 10.179072380065918, 'learning_rate': 3.8916666666666666e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3055, 'grad_norm': 7.417038440704346, 'learning_rate': 3.883333333333333e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3441, 'grad_norm': 7.526632785797119, 'learning_rate': 3.875e-05, 'epoch': 0.05}\n",
      "{'loss': 3.2977, 'grad_norm': 7.992228984832764, 'learning_rate': 3.866666666666667e-05, 'epoch': 0.05}\n",
      "{'loss': 3.5184, 'grad_norm': 7.341228485107422, 'learning_rate': 3.8583333333333334e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3805, 'grad_norm': 7.176333904266357, 'learning_rate': 3.85e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3635, 'grad_norm': 7.0895466804504395, 'learning_rate': 3.841666666666667e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4145, 'grad_norm': 6.52033805847168, 'learning_rate': 3.8333333333333334e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3445, 'grad_norm': 7.34450101852417, 'learning_rate': 3.825e-05, 'epoch': 0.05}\n",
      "{'loss': 3.2643, 'grad_norm': 7.390641212463379, 'learning_rate': 3.816666666666667e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3814, 'grad_norm': 7.668638706207275, 'learning_rate': 3.8083333333333335e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3523, 'grad_norm': 6.997697353363037, 'learning_rate': 3.8e-05, 'epoch': 0.05}\n",
      "{'loss': 3.2615, 'grad_norm': 6.7918782234191895, 'learning_rate': 3.791666666666667e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3934, 'grad_norm': 7.316988945007324, 'learning_rate': 3.7833333333333336e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4393, 'grad_norm': 9.626955032348633, 'learning_rate': 3.775e-05, 'epoch': 0.05}\n",
      "{'loss': 3.2939, 'grad_norm': 6.656526565551758, 'learning_rate': 3.766666666666667e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4373, 'grad_norm': 7.365730285644531, 'learning_rate': 3.7583333333333337e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4529, 'grad_norm': 6.832123756408691, 'learning_rate': 3.7500000000000003e-05, 'epoch': 0.05}\n",
      " 25%|█████████▊                             | 1500/6000 [15:06<38:18,  1.96it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:02<00:02,  1.25s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:04<00:01,  1.53s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 31.793434, 'eval_rouge-2': 6.34525, 'eval_rouge-l': 25.124998, 'eval_bleu-4': 0.031485185978095964, 'eval_runtime': 7.4159, 'eval_samples_per_second': 6.742, 'eval_steps_per_second': 0.539, 'epoch': 0.05}\n",
      " 25%|█████████▊                             | 1500/6000 [15:14<38:18,  1.96it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:05<00:00,  1.33s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-1500\n",
      "{'loss': 3.3369, 'grad_norm': 6.681557655334473, 'learning_rate': 3.7416666666666664e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3871, 'grad_norm': 8.42728328704834, 'learning_rate': 3.733333333333334e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4326, 'grad_norm': 8.117926597595215, 'learning_rate': 3.7250000000000004e-05, 'epoch': 0.05}\n",
      "{'loss': 3.3998, 'grad_norm': 6.991094589233398, 'learning_rate': 3.7166666666666664e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4959, 'grad_norm': 7.151463508605957, 'learning_rate': 3.708333333333334e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4104, 'grad_norm': 8.213394165039062, 'learning_rate': 3.7e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4658, 'grad_norm': 7.816837787628174, 'learning_rate': 3.6916666666666665e-05, 'epoch': 0.05}\n",
      "{'loss': 3.4336, 'grad_norm': 7.589545249938965, 'learning_rate': 3.683333333333334e-05, 'epoch': 0.06}\n",
      "{'loss': 3.51, 'grad_norm': 9.147441864013672, 'learning_rate': 3.675e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3945, 'grad_norm': 7.0323872566223145, 'learning_rate': 3.6666666666666666e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3719, 'grad_norm': 7.902482986450195, 'learning_rate': 3.658333333333334e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3648, 'grad_norm': 8.144776344299316, 'learning_rate': 3.65e-05, 'epoch': 0.06}\n",
      "{'loss': 3.4639, 'grad_norm': 6.932070255279541, 'learning_rate': 3.641666666666667e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3146, 'grad_norm': 8.025065422058105, 'learning_rate': 3.633333333333333e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3701, 'grad_norm': 7.511945724487305, 'learning_rate': 3.625e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3027, 'grad_norm': 6.903039932250977, 'learning_rate': 3.6166666666666674e-05, 'epoch': 0.06}\n",
      "{'loss': 3.4756, 'grad_norm': 8.294015884399414, 'learning_rate': 3.6083333333333334e-05, 'epoch': 0.06}\n",
      "{'loss': 3.375, 'grad_norm': 7.105270862579346, 'learning_rate': 3.6e-05, 'epoch': 0.06}\n",
      "{'loss': 3.376, 'grad_norm': 7.271373748779297, 'learning_rate': 3.591666666666667e-05, 'epoch': 0.06}\n",
      "{'loss': 3.5117, 'grad_norm': 6.883056163787842, 'learning_rate': 3.5833333333333335e-05, 'epoch': 0.06}\n",
      "{'loss': 3.4576, 'grad_norm': 7.269950866699219, 'learning_rate': 3.575e-05, 'epoch': 0.06}\n",
      "{'loss': 3.498, 'grad_norm': 7.28062105178833, 'learning_rate': 3.566666666666667e-05, 'epoch': 0.06}\n",
      "{'loss': 3.4021, 'grad_norm': 7.431182861328125, 'learning_rate': 3.5583333333333335e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3984, 'grad_norm': 7.192761421203613, 'learning_rate': 3.55e-05, 'epoch': 0.06}\n",
      "{'loss': 3.4635, 'grad_norm': 7.466423988342285, 'learning_rate': 3.541666666666667e-05, 'epoch': 0.06}\n",
      "{'loss': 3.4377, 'grad_norm': 7.631483554840088, 'learning_rate': 3.5333333333333336e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3561, 'grad_norm': 8.847546577453613, 'learning_rate': 3.525e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3455, 'grad_norm': 7.975398063659668, 'learning_rate': 3.516666666666667e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3951, 'grad_norm': 8.083527565002441, 'learning_rate': 3.508333333333334e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3371, 'grad_norm': 7.630710601806641, 'learning_rate': 3.5e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3797, 'grad_norm': 8.833683013916016, 'learning_rate': 3.491666666666667e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3359, 'grad_norm': 7.568957328796387, 'learning_rate': 3.483333333333334e-05, 'epoch': 0.06}\n",
      "{'loss': 3.5795, 'grad_norm': 7.730367183685303, 'learning_rate': 3.475e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3482, 'grad_norm': 8.626133918762207, 'learning_rate': 3.466666666666667e-05, 'epoch': 0.06}\n",
      "{'loss': 3.4928, 'grad_norm': 8.679338455200195, 'learning_rate': 3.458333333333333e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3795, 'grad_norm': 7.305222988128662, 'learning_rate': 3.45e-05, 'epoch': 0.06}\n",
      "{'loss': 3.3137, 'grad_norm': 7.880943298339844, 'learning_rate': 3.441666666666667e-05, 'epoch': 0.07}\n",
      "{'loss': 3.3049, 'grad_norm': 7.4047136306762695, 'learning_rate': 3.433333333333333e-05, 'epoch': 0.07}\n",
      "{'loss': 3.3994, 'grad_norm': 7.069685459136963, 'learning_rate': 3.4250000000000006e-05, 'epoch': 0.07}\n",
      "{'loss': 3.3652, 'grad_norm': 7.65990686416626, 'learning_rate': 3.4166666666666666e-05, 'epoch': 0.07}\n",
      "{'loss': 3.383, 'grad_norm': 7.966683864593506, 'learning_rate': 3.408333333333333e-05, 'epoch': 0.07}\n",
      "{'loss': 3.4771, 'grad_norm': 7.11051082611084, 'learning_rate': 3.4000000000000007e-05, 'epoch': 0.07}\n",
      "{'loss': 3.2812, 'grad_norm': 7.405958652496338, 'learning_rate': 3.391666666666667e-05, 'epoch': 0.07}\n",
      "{'loss': 3.5021, 'grad_norm': 7.306082248687744, 'learning_rate': 3.3833333333333334e-05, 'epoch': 0.07}\n",
      "{'loss': 3.3635, 'grad_norm': 6.828977584838867, 'learning_rate': 3.375000000000001e-05, 'epoch': 0.07}\n",
      "{'loss': 3.2834, 'grad_norm': 8.587190628051758, 'learning_rate': 3.366666666666667e-05, 'epoch': 0.07}\n",
      "{'loss': 3.3666, 'grad_norm': 7.506745338439941, 'learning_rate': 3.3583333333333334e-05, 'epoch': 0.07}\n",
      "{'loss': 3.2287, 'grad_norm': 7.532471179962158, 'learning_rate': 3.35e-05, 'epoch': 0.07}\n",
      "{'loss': 3.4084, 'grad_norm': 6.929512977600098, 'learning_rate': 3.341666666666667e-05, 'epoch': 0.07}\n",
      "{'loss': 3.4615, 'grad_norm': 7.948788642883301, 'learning_rate': 3.3333333333333335e-05, 'epoch': 0.07}\n",
      " 33%|█████████████                          | 2000/6000 [20:01<37:16,  1.79it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:12<00:12,  6.06s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:23<00:08,  8.46s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 30.105318, 'eval_rouge-2': 6.198228, 'eval_rouge-l': 22.074134, 'eval_bleu-4': 0.02974775208800372, 'eval_runtime': 45.3987, 'eval_samples_per_second': 1.101, 'eval_steps_per_second': 0.088, 'epoch': 0.07}\n",
      " 33%|█████████████                          | 2000/6000 [20:46<37:16,  1.79it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:33<00:00,  8.70s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-2000\n",
      "{'loss': 3.3809, 'grad_norm': 8.616721153259277, 'learning_rate': 3.325e-05, 'epoch': 0.07}\n",
      "{'loss': 3.4955, 'grad_norm': 7.214137077331543, 'learning_rate': 3.316666666666667e-05, 'epoch': 0.07}\n",
      "{'loss': 3.5566, 'grad_norm': 8.698995590209961, 'learning_rate': 3.3083333333333336e-05, 'epoch': 0.07}\n",
      "{'loss': 3.4963, 'grad_norm': 7.9444355964660645, 'learning_rate': 3.3e-05, 'epoch': 0.07}\n",
      "{'loss': 3.365, 'grad_norm': 8.229196548461914, 'learning_rate': 3.291666666666667e-05, 'epoch': 0.07}\n",
      "{'loss': 3.3273, 'grad_norm': 7.58465576171875, 'learning_rate': 3.283333333333333e-05, 'epoch': 0.07}\n",
      "{'loss': 3.4379, 'grad_norm': 7.854538917541504, 'learning_rate': 3.275e-05, 'epoch': 0.07}\n",
      "{'loss': 3.4096, 'grad_norm': 8.062145233154297, 'learning_rate': 3.266666666666667e-05, 'epoch': 0.07}\n",
      "{'loss': 3.4361, 'grad_norm': 7.240509033203125, 'learning_rate': 3.258333333333333e-05, 'epoch': 0.07}\n",
      "{'loss': 3.3535, 'grad_norm': 7.576048374176025, 'learning_rate': 3.2500000000000004e-05, 'epoch': 0.07}\n",
      "{'loss': 3.2814, 'grad_norm': 7.55463981628418, 'learning_rate': 3.2416666666666664e-05, 'epoch': 0.07}\n",
      "{'loss': 3.5777, 'grad_norm': 7.834105968475342, 'learning_rate': 3.233333333333333e-05, 'epoch': 0.07}\n",
      "{'loss': 3.249, 'grad_norm': 7.213767051696777, 'learning_rate': 3.2250000000000005e-05, 'epoch': 0.07}\n",
      "{'loss': 3.348, 'grad_norm': 8.110420227050781, 'learning_rate': 3.2166666666666665e-05, 'epoch': 0.07}\n",
      "{'loss': 3.3924, 'grad_norm': 7.254177570343018, 'learning_rate': 3.208333333333334e-05, 'epoch': 0.08}\n",
      "{'loss': 3.5174, 'grad_norm': 8.153505325317383, 'learning_rate': 3.2000000000000005e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3928, 'grad_norm': 7.104883670806885, 'learning_rate': 3.1916666666666665e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4115, 'grad_norm': 7.56545352935791, 'learning_rate': 3.183333333333334e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3471, 'grad_norm': 7.488526821136475, 'learning_rate': 3.175e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4273, 'grad_norm': 7.161586761474609, 'learning_rate': 3.1666666666666666e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4514, 'grad_norm': 6.56596040725708, 'learning_rate': 3.158333333333334e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4068, 'grad_norm': 7.56581974029541, 'learning_rate': 3.15e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4158, 'grad_norm': 7.893904685974121, 'learning_rate': 3.141666666666667e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3682, 'grad_norm': 7.918064594268799, 'learning_rate': 3.1333333333333334e-05, 'epoch': 0.08}\n",
      "{'loss': 3.2309, 'grad_norm': 8.299612998962402, 'learning_rate': 3.125e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3586, 'grad_norm': 7.708428382873535, 'learning_rate': 3.116666666666667e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4223, 'grad_norm': 8.197043418884277, 'learning_rate': 3.1083333333333334e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4658, 'grad_norm': 7.755139350891113, 'learning_rate': 3.1e-05, 'epoch': 0.08}\n",
      "{'loss': 3.2869, 'grad_norm': 8.600750923156738, 'learning_rate': 3.091666666666667e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3521, 'grad_norm': 7.972752094268799, 'learning_rate': 3.0833333333333335e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3084, 'grad_norm': 8.43613052368164, 'learning_rate': 3.075e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3201, 'grad_norm': 8.384541511535645, 'learning_rate': 3.066666666666667e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3637, 'grad_norm': 8.607190132141113, 'learning_rate': 3.0583333333333336e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3629, 'grad_norm': 7.534811496734619, 'learning_rate': 3.05e-05, 'epoch': 0.08}\n",
      "{'loss': 3.259, 'grad_norm': 8.464651107788086, 'learning_rate': 3.0416666666666666e-05, 'epoch': 0.08}\n",
      "{'loss': 3.383, 'grad_norm': 7.914689540863037, 'learning_rate': 3.0333333333333337e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3492, 'grad_norm': 7.640643119812012, 'learning_rate': 3.025e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4836, 'grad_norm': 8.231359481811523, 'learning_rate': 3.016666666666667e-05, 'epoch': 0.08}\n",
      "{'loss': 3.227, 'grad_norm': 8.402898788452148, 'learning_rate': 3.0083333333333337e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4471, 'grad_norm': 7.1606268882751465, 'learning_rate': 3e-05, 'epoch': 0.08}\n",
      "{'loss': 3.4441, 'grad_norm': 8.038116455078125, 'learning_rate': 2.991666666666667e-05, 'epoch': 0.08}\n",
      "{'loss': 3.2781, 'grad_norm': 7.816821575164795, 'learning_rate': 2.9833333333333335e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3629, 'grad_norm': 7.2472124099731445, 'learning_rate': 2.975e-05, 'epoch': 0.08}\n",
      "{'loss': 3.3746, 'grad_norm': 7.900863170623779, 'learning_rate': 2.9666666666666672e-05, 'epoch': 0.09}\n",
      "{'loss': 3.2732, 'grad_norm': 7.535484313964844, 'learning_rate': 2.9583333333333335e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3088, 'grad_norm': 7.372034072875977, 'learning_rate': 2.95e-05, 'epoch': 0.09}\n",
      "{'loss': 3.2584, 'grad_norm': 8.244362831115723, 'learning_rate': 2.941666666666667e-05, 'epoch': 0.09}\n",
      "{'loss': 3.434, 'grad_norm': 7.37459659576416, 'learning_rate': 2.9333333333333336e-05, 'epoch': 0.09}\n",
      "{'loss': 3.4654, 'grad_norm': 7.723145008087158, 'learning_rate': 2.925e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3926, 'grad_norm': 9.148354530334473, 'learning_rate': 2.916666666666667e-05, 'epoch': 0.09}\n",
      " 42%|████████████████▎                      | 2500/6000 [25:33<32:57,  1.77it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:12<00:12,  6.06s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:13<00:04,  4.26s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 31.724738000000002, 'eval_rouge-2': 7.166040000000001, 'eval_rouge-l': 25.447073999999997, 'eval_bleu-4': 0.03464678725444704, 'eval_runtime': 17.1919, 'eval_samples_per_second': 2.908, 'eval_steps_per_second': 0.233, 'epoch': 0.09}\n",
      " 42%|████████████████▎                      | 2500/6000 [25:51<32:57,  1.77it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:15<00:00,  3.12s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-2500\n",
      "{'loss': 3.2939, 'grad_norm': 8.0595703125, 'learning_rate': 2.9083333333333333e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3365, 'grad_norm': 9.041401863098145, 'learning_rate': 2.9e-05, 'epoch': 0.09}\n",
      "{'loss': 3.2445, 'grad_norm': 7.675523281097412, 'learning_rate': 2.891666666666667e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3863, 'grad_norm': 7.999580383300781, 'learning_rate': 2.8833333333333334e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3871, 'grad_norm': 7.224547863006592, 'learning_rate': 2.8749999999999997e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3947, 'grad_norm': 7.962963581085205, 'learning_rate': 2.8666666666666668e-05, 'epoch': 0.09}\n",
      "{'loss': 3.4662, 'grad_norm': 7.641202449798584, 'learning_rate': 2.8583333333333335e-05, 'epoch': 0.09}\n",
      "{'loss': 3.4783, 'grad_norm': 8.499279975891113, 'learning_rate': 2.8499999999999998e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3693, 'grad_norm': 8.060303688049316, 'learning_rate': 2.841666666666667e-05, 'epoch': 0.09}\n",
      "{'loss': 3.4699, 'grad_norm': 8.632144927978516, 'learning_rate': 2.8333333333333335e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3469, 'grad_norm': 7.922441005706787, 'learning_rate': 2.825e-05, 'epoch': 0.09}\n",
      "{'loss': 3.4053, 'grad_norm': 7.4328789710998535, 'learning_rate': 2.816666666666667e-05, 'epoch': 0.09}\n",
      "{'loss': 3.5211, 'grad_norm': 7.646793842315674, 'learning_rate': 2.8083333333333333e-05, 'epoch': 0.09}\n",
      "{'loss': 3.448, 'grad_norm': 8.228289604187012, 'learning_rate': 2.8000000000000003e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3963, 'grad_norm': 7.733057498931885, 'learning_rate': 2.791666666666667e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3443, 'grad_norm': 7.576781749725342, 'learning_rate': 2.7833333333333333e-05, 'epoch': 0.09}\n",
      "{'loss': 3.4029, 'grad_norm': 8.691656112670898, 'learning_rate': 2.7750000000000004e-05, 'epoch': 0.09}\n",
      "{'loss': 3.2615, 'grad_norm': 7.3192338943481445, 'learning_rate': 2.7666666666666667e-05, 'epoch': 0.09}\n",
      "{'loss': 3.4627, 'grad_norm': 8.281045913696289, 'learning_rate': 2.7583333333333334e-05, 'epoch': 0.09}\n",
      "{'loss': 3.4312, 'grad_norm': 8.498647689819336, 'learning_rate': 2.7500000000000004e-05, 'epoch': 0.09}\n",
      "{'loss': 3.4082, 'grad_norm': 7.979237079620361, 'learning_rate': 2.7416666666666668e-05, 'epoch': 0.09}\n",
      "{'loss': 3.2426, 'grad_norm': 7.336565971374512, 'learning_rate': 2.733333333333333e-05, 'epoch': 0.09}\n",
      "{'loss': 3.3766, 'grad_norm': 7.94928503036499, 'learning_rate': 2.725e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3818, 'grad_norm': 8.002163887023926, 'learning_rate': 2.716666666666667e-05, 'epoch': 0.1}\n",
      "{'loss': 3.4498, 'grad_norm': 8.547842979431152, 'learning_rate': 2.7083333333333332e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3947, 'grad_norm': 8.037627220153809, 'learning_rate': 2.7000000000000002e-05, 'epoch': 0.1}\n",
      "{'loss': 3.34, 'grad_norm': 7.933771133422852, 'learning_rate': 2.691666666666667e-05, 'epoch': 0.1}\n",
      "{'loss': 3.2473, 'grad_norm': 8.191893577575684, 'learning_rate': 2.6833333333333333e-05, 'epoch': 0.1}\n",
      "{'loss': 3.2709, 'grad_norm': 7.9285688400268555, 'learning_rate': 2.6750000000000003e-05, 'epoch': 0.1}\n",
      "{'loss': 3.2318, 'grad_norm': 7.54554557800293, 'learning_rate': 2.6666666666666667e-05, 'epoch': 0.1}\n",
      "{'loss': 3.4361, 'grad_norm': 8.072540283203125, 'learning_rate': 2.6583333333333333e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3557, 'grad_norm': 7.621264457702637, 'learning_rate': 2.6500000000000004e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3816, 'grad_norm': 8.070741653442383, 'learning_rate': 2.6416666666666667e-05, 'epoch': 0.1}\n",
      "{'loss': 3.4352, 'grad_norm': 8.624138832092285, 'learning_rate': 2.633333333333333e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3898, 'grad_norm': 8.491202354431152, 'learning_rate': 2.625e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3268, 'grad_norm': 8.324999809265137, 'learning_rate': 2.6166666666666668e-05, 'epoch': 0.1}\n",
      "{'loss': 3.365, 'grad_norm': 8.369396209716797, 'learning_rate': 2.608333333333333e-05, 'epoch': 0.1}\n",
      "{'loss': 3.4994, 'grad_norm': 9.733097076416016, 'learning_rate': 2.6000000000000002e-05, 'epoch': 0.1}\n",
      "{'loss': 3.2912, 'grad_norm': 7.916632652282715, 'learning_rate': 2.5916666666666665e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3213, 'grad_norm': 8.87852668762207, 'learning_rate': 2.5833333333333336e-05, 'epoch': 0.1}\n",
      "{'loss': 3.2965, 'grad_norm': 7.60556697845459, 'learning_rate': 2.5750000000000002e-05, 'epoch': 0.1}\n",
      "{'loss': 3.2295, 'grad_norm': 7.282363414764404, 'learning_rate': 2.5666666666666666e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3543, 'grad_norm': 8.823189735412598, 'learning_rate': 2.5583333333333336e-05, 'epoch': 0.1}\n",
      "{'loss': 3.2461, 'grad_norm': 8.328179359436035, 'learning_rate': 2.5500000000000003e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3494, 'grad_norm': 8.115215301513672, 'learning_rate': 2.5416666666666667e-05, 'epoch': 0.1}\n",
      "{'loss': 3.2043, 'grad_norm': 9.126392364501953, 'learning_rate': 2.5333333333333337e-05, 'epoch': 0.1}\n",
      "{'loss': 3.4461, 'grad_norm': 8.740612983703613, 'learning_rate': 2.525e-05, 'epoch': 0.1}\n",
      "{'loss': 3.4139, 'grad_norm': 8.718581199645996, 'learning_rate': 2.5166666666666667e-05, 'epoch': 0.1}\n",
      "{'loss': 3.4477, 'grad_norm': 7.932823657989502, 'learning_rate': 2.5083333333333338e-05, 'epoch': 0.1}\n",
      "{'loss': 3.3604, 'grad_norm': 7.5057268142700195, 'learning_rate': 2.5e-05, 'epoch': 0.1}\n",
      " 50%|███████████████████▌                   | 3000/6000 [30:39<27:07,  1.84it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:01<00:01,  1.03it/s]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:03<00:01,  1.35s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 32.232662000000005, 'eval_rouge-2': 7.26407, 'eval_rouge-l': 25.872554, 'eval_bleu-4': 0.03655014508742657, 'eval_runtime': 15.0547, 'eval_samples_per_second': 3.321, 'eval_steps_per_second': 0.266, 'epoch': 0.1}\n",
      " 50%|███████████████████▌                   | 3000/6000 [30:54<27:07,  1.84it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:13<00:00,  4.24s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-3000\n",
      "{'loss': 3.4656, 'grad_norm': 8.13015079498291, 'learning_rate': 2.4916666666666668e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3416, 'grad_norm': 7.7915472984313965, 'learning_rate': 2.4833333333333335e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3457, 'grad_norm': 8.215012550354004, 'learning_rate': 2.4750000000000002e-05, 'epoch': 0.11}\n",
      "{'loss': 3.2244, 'grad_norm': 7.571880340576172, 'learning_rate': 2.466666666666667e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3924, 'grad_norm': 8.405771255493164, 'learning_rate': 2.4583333333333332e-05, 'epoch': 0.11}\n",
      "{'loss': 3.5307, 'grad_norm': 7.283129692077637, 'learning_rate': 2.45e-05, 'epoch': 0.11}\n",
      "{'loss': 3.292, 'grad_norm': 7.737720012664795, 'learning_rate': 2.441666666666667e-05, 'epoch': 0.11}\n",
      "{'loss': 3.2979, 'grad_norm': 9.472885131835938, 'learning_rate': 2.4333333333333336e-05, 'epoch': 0.11}\n",
      "{'loss': 3.2033, 'grad_norm': 8.6200590133667, 'learning_rate': 2.425e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3887, 'grad_norm': 7.65397834777832, 'learning_rate': 2.4166666666666667e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3371, 'grad_norm': 8.879692077636719, 'learning_rate': 2.4083333333333337e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3189, 'grad_norm': 8.149602890014648, 'learning_rate': 2.4e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3756, 'grad_norm': 9.191914558410645, 'learning_rate': 2.3916666666666668e-05, 'epoch': 0.11}\n",
      "{'loss': 3.2947, 'grad_norm': 8.344438552856445, 'learning_rate': 2.3833333333333334e-05, 'epoch': 0.11}\n",
      "{'loss': 3.452, 'grad_norm': 8.128719329833984, 'learning_rate': 2.375e-05, 'epoch': 0.11}\n",
      "{'loss': 3.418, 'grad_norm': 8.48233699798584, 'learning_rate': 2.3666666666666668e-05, 'epoch': 0.11}\n",
      "{'loss': 3.4836, 'grad_norm': 7.655345439910889, 'learning_rate': 2.3583333333333335e-05, 'epoch': 0.11}\n",
      "{'loss': 3.2164, 'grad_norm': 8.221366882324219, 'learning_rate': 2.35e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3568, 'grad_norm': 7.4028425216674805, 'learning_rate': 2.341666666666667e-05, 'epoch': 0.11}\n",
      "{'loss': 3.4066, 'grad_norm': 8.337536811828613, 'learning_rate': 2.3333333333333336e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3803, 'grad_norm': 8.969818115234375, 'learning_rate': 2.3250000000000003e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3969, 'grad_norm': 7.585909366607666, 'learning_rate': 2.3166666666666666e-05, 'epoch': 0.11}\n",
      "{'loss': 3.474, 'grad_norm': 8.516317367553711, 'learning_rate': 2.3083333333333333e-05, 'epoch': 0.11}\n",
      "{'loss': 3.21, 'grad_norm': 8.76664924621582, 'learning_rate': 2.3000000000000003e-05, 'epoch': 0.11}\n",
      "{'loss': 3.4043, 'grad_norm': 8.037745475769043, 'learning_rate': 2.2916666666666667e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3619, 'grad_norm': 9.851822853088379, 'learning_rate': 2.2833333333333334e-05, 'epoch': 0.11}\n",
      "{'loss': 3.4105, 'grad_norm': 8.177433967590332, 'learning_rate': 2.275e-05, 'epoch': 0.11}\n",
      "{'loss': 3.292, 'grad_norm': 7.757075309753418, 'learning_rate': 2.2666666666666668e-05, 'epoch': 0.11}\n",
      "{'loss': 3.2984, 'grad_norm': 9.443941116333008, 'learning_rate': 2.2583333333333335e-05, 'epoch': 0.11}\n",
      "{'loss': 3.3973, 'grad_norm': 7.262369155883789, 'learning_rate': 2.25e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3557, 'grad_norm': 7.920074462890625, 'learning_rate': 2.2416666666666665e-05, 'epoch': 0.12}\n",
      "{'loss': 3.226, 'grad_norm': 8.339970588684082, 'learning_rate': 2.2333333333333335e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3967, 'grad_norm': 8.888700485229492, 'learning_rate': 2.2250000000000002e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3693, 'grad_norm': 7.882465839385986, 'learning_rate': 2.216666666666667e-05, 'epoch': 0.12}\n",
      "{'loss': 3.2781, 'grad_norm': 9.17882251739502, 'learning_rate': 2.2083333333333333e-05, 'epoch': 0.12}\n",
      "{'loss': 3.4217, 'grad_norm': 7.767283916473389, 'learning_rate': 2.2000000000000003e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3295, 'grad_norm': 7.467877388000488, 'learning_rate': 2.191666666666667e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3719, 'grad_norm': 7.610213756561279, 'learning_rate': 2.1833333333333333e-05, 'epoch': 0.12}\n",
      "{'loss': 3.282, 'grad_norm': 9.057259559631348, 'learning_rate': 2.175e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3533, 'grad_norm': 7.574516296386719, 'learning_rate': 2.1666666666666667e-05, 'epoch': 0.12}\n",
      "{'loss': 3.1959, 'grad_norm': 8.619309425354004, 'learning_rate': 2.1583333333333334e-05, 'epoch': 0.12}\n",
      "{'loss': 3.2846, 'grad_norm': 8.784469604492188, 'learning_rate': 2.15e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3391, 'grad_norm': 8.995177268981934, 'learning_rate': 2.1416666666666668e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3014, 'grad_norm': 8.257163047790527, 'learning_rate': 2.1333333333333335e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3277, 'grad_norm': 8.902905464172363, 'learning_rate': 2.125e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3359, 'grad_norm': 8.903754234313965, 'learning_rate': 2.116666666666667e-05, 'epoch': 0.12}\n",
      "{'loss': 3.2629, 'grad_norm': 8.947334289550781, 'learning_rate': 2.1083333333333335e-05, 'epoch': 0.12}\n",
      "{'loss': 3.2721, 'grad_norm': 9.716794967651367, 'learning_rate': 2.1e-05, 'epoch': 0.12}\n",
      "{'loss': 3.409, 'grad_norm': 8.149024963378906, 'learning_rate': 2.091666666666667e-05, 'epoch': 0.12}\n",
      "{'loss': 3.4361, 'grad_norm': 8.07392406463623, 'learning_rate': 2.0833333333333336e-05, 'epoch': 0.12}\n",
      " 58%|██████████████████████▊                | 3500/6000 [35:38<23:21,  1.78it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:12<00:12,  6.06s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:23<00:08,  8.47s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 32.230374000000005, 'eval_rouge-2': 7.456284, 'eval_rouge-l': 24.20841, 'eval_bleu-4': 0.034082875319790776, 'eval_runtime': 27.3209, 'eval_samples_per_second': 1.83, 'eval_steps_per_second': 0.146, 'epoch': 0.12}\n",
      " 58%|██████████████████████▊                | 3500/6000 [36:05<23:21,  1.78it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:25<00:00,  5.80s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-3500\n",
      "{'loss': 3.383, 'grad_norm': 8.604483604431152, 'learning_rate': 2.075e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3129, 'grad_norm': 8.891602516174316, 'learning_rate': 2.0666666666666666e-05, 'epoch': 0.12}\n",
      "{'loss': 3.2789, 'grad_norm': 8.061890602111816, 'learning_rate': 2.0583333333333333e-05, 'epoch': 0.12}\n",
      "{'loss': 3.2959, 'grad_norm': 8.490276336669922, 'learning_rate': 2.05e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3541, 'grad_norm': 8.55710506439209, 'learning_rate': 2.0416666666666667e-05, 'epoch': 0.12}\n",
      "{'loss': 3.2033, 'grad_norm': 8.058524131774902, 'learning_rate': 2.0333333333333334e-05, 'epoch': 0.12}\n",
      "{'loss': 3.3156, 'grad_norm': 7.459298133850098, 'learning_rate': 2.025e-05, 'epoch': 0.12}\n",
      "{'loss': 3.4281, 'grad_norm': 9.14668083190918, 'learning_rate': 2.0166666666666668e-05, 'epoch': 0.12}\n",
      "{'loss': 3.2408, 'grad_norm': 9.130009651184082, 'learning_rate': 2.0083333333333335e-05, 'epoch': 0.13}\n",
      "{'loss': 3.1828, 'grad_norm': 8.255974769592285, 'learning_rate': 2e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2666, 'grad_norm': 10.380473136901855, 'learning_rate': 1.9916666666666665e-05, 'epoch': 0.13}\n",
      "{'loss': 3.5225, 'grad_norm': 8.207863807678223, 'learning_rate': 1.9833333333333335e-05, 'epoch': 0.13}\n",
      "{'loss': 3.3918, 'grad_norm': 8.848471641540527, 'learning_rate': 1.9750000000000002e-05, 'epoch': 0.13}\n",
      "{'loss': 3.1963, 'grad_norm': 8.573017120361328, 'learning_rate': 1.9666666666666666e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2945, 'grad_norm': 9.427796363830566, 'learning_rate': 1.9583333333333333e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2035, 'grad_norm': 8.755891799926758, 'learning_rate': 1.9500000000000003e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2992, 'grad_norm': 8.158426284790039, 'learning_rate': 1.9416666666666667e-05, 'epoch': 0.13}\n",
      "{'loss': 3.3703, 'grad_norm': 8.588203430175781, 'learning_rate': 1.9333333333333333e-05, 'epoch': 0.13}\n",
      "{'loss': 3.3937, 'grad_norm': 7.663825511932373, 'learning_rate': 1.925e-05, 'epoch': 0.13}\n",
      "{'loss': 3.3887, 'grad_norm': 9.175424575805664, 'learning_rate': 1.9166666666666667e-05, 'epoch': 0.13}\n",
      "{'loss': 3.3652, 'grad_norm': 9.292588233947754, 'learning_rate': 1.9083333333333334e-05, 'epoch': 0.13}\n",
      "{'loss': 3.376, 'grad_norm': 9.404940605163574, 'learning_rate': 1.9e-05, 'epoch': 0.13}\n",
      "{'loss': 3.1629, 'grad_norm': 10.262632369995117, 'learning_rate': 1.8916666666666668e-05, 'epoch': 0.13}\n",
      "{'loss': 3.4037, 'grad_norm': 8.808833122253418, 'learning_rate': 1.8833333333333335e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2242, 'grad_norm': 8.015074729919434, 'learning_rate': 1.8750000000000002e-05, 'epoch': 0.13}\n",
      "{'loss': 3.1992, 'grad_norm': 8.309236526489258, 'learning_rate': 1.866666666666667e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2332, 'grad_norm': 9.708857536315918, 'learning_rate': 1.8583333333333332e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2764, 'grad_norm': 8.202753067016602, 'learning_rate': 1.85e-05, 'epoch': 0.13}\n",
      "{'loss': 3.4699, 'grad_norm': 7.692502975463867, 'learning_rate': 1.841666666666667e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2521, 'grad_norm': 8.014324188232422, 'learning_rate': 1.8333333333333333e-05, 'epoch': 0.13}\n",
      "{'loss': 3.3377, 'grad_norm': 10.09934139251709, 'learning_rate': 1.825e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2221, 'grad_norm': 8.74571704864502, 'learning_rate': 1.8166666666666667e-05, 'epoch': 0.13}\n",
      "{'loss': 3.3809, 'grad_norm': 8.532288551330566, 'learning_rate': 1.8083333333333337e-05, 'epoch': 0.13}\n",
      "{'loss': 3.3092, 'grad_norm': 8.959988594055176, 'learning_rate': 1.8e-05, 'epoch': 0.13}\n",
      "{'loss': 3.2818, 'grad_norm': 8.66565227508545, 'learning_rate': 1.7916666666666667e-05, 'epoch': 0.13}\n",
      "{'loss': 3.3256, 'grad_norm': 8.829197883605957, 'learning_rate': 1.7833333333333334e-05, 'epoch': 0.13}\n",
      "{'loss': 3.4523, 'grad_norm': 7.854032516479492, 'learning_rate': 1.775e-05, 'epoch': 0.14}\n",
      "{'loss': 3.4707, 'grad_norm': 8.100236892700195, 'learning_rate': 1.7666666666666668e-05, 'epoch': 0.14}\n",
      "{'loss': 3.4098, 'grad_norm': 8.097630500793457, 'learning_rate': 1.7583333333333335e-05, 'epoch': 0.14}\n",
      "{'loss': 3.4471, 'grad_norm': 8.298770904541016, 'learning_rate': 1.75e-05, 'epoch': 0.14}\n",
      "{'loss': 3.2668, 'grad_norm': 8.576809883117676, 'learning_rate': 1.741666666666667e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3348, 'grad_norm': 9.153658866882324, 'learning_rate': 1.7333333333333336e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3729, 'grad_norm': 7.654897689819336, 'learning_rate': 1.725e-05, 'epoch': 0.14}\n",
      "{'loss': 3.5016, 'grad_norm': 8.605768203735352, 'learning_rate': 1.7166666666666666e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3312, 'grad_norm': 8.608973503112793, 'learning_rate': 1.7083333333333333e-05, 'epoch': 0.14}\n",
      "{'loss': 3.2857, 'grad_norm': 8.71762466430664, 'learning_rate': 1.7000000000000003e-05, 'epoch': 0.14}\n",
      "{'loss': 3.4088, 'grad_norm': 7.659035682678223, 'learning_rate': 1.6916666666666667e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3994, 'grad_norm': 8.532244682312012, 'learning_rate': 1.6833333333333334e-05, 'epoch': 0.14}\n",
      "{'loss': 3.4297, 'grad_norm': 8.389077186584473, 'learning_rate': 1.675e-05, 'epoch': 0.14}\n",
      "{'loss': 3.376, 'grad_norm': 9.190594673156738, 'learning_rate': 1.6666666666666667e-05, 'epoch': 0.14}\n",
      " 67%|██████████████████████████             | 4000/6000 [40:55<18:04,  1.84it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:12<00:12,  6.06s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:14<00:04,  4.39s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 33.250960000000006, 'eval_rouge-2': 7.811808, 'eval_rouge-l': 25.845912000000002, 'eval_bleu-4': 0.03653127200548607, 'eval_runtime': 17.5519, 'eval_samples_per_second': 2.849, 'eval_steps_per_second': 0.228, 'epoch': 0.14}\n",
      " 67%|██████████████████████████             | 4000/6000 [41:12<18:04,  1.84it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:15<00:00,  3.22s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-4000\n",
      "{'loss': 3.2582, 'grad_norm': 10.58878231048584, 'learning_rate': 1.6583333333333334e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3438, 'grad_norm': 8.287962913513184, 'learning_rate': 1.65e-05, 'epoch': 0.14}\n",
      "{'loss': 3.4504, 'grad_norm': 8.586450576782227, 'learning_rate': 1.6416666666666665e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3746, 'grad_norm': 8.848660469055176, 'learning_rate': 1.6333333333333335e-05, 'epoch': 0.14}\n",
      "{'loss': 3.2594, 'grad_norm': 8.423580169677734, 'learning_rate': 1.6250000000000002e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3037, 'grad_norm': 8.837170600891113, 'learning_rate': 1.6166666666666665e-05, 'epoch': 0.14}\n",
      "{'loss': 3.1711, 'grad_norm': 7.838345527648926, 'learning_rate': 1.6083333333333332e-05, 'epoch': 0.14}\n",
      "{'loss': 3.385, 'grad_norm': 8.521658897399902, 'learning_rate': 1.6000000000000003e-05, 'epoch': 0.14}\n",
      "{'loss': 3.424, 'grad_norm': 8.886438369750977, 'learning_rate': 1.591666666666667e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3244, 'grad_norm': 8.960099220275879, 'learning_rate': 1.5833333333333333e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3568, 'grad_norm': 10.725311279296875, 'learning_rate': 1.575e-05, 'epoch': 0.14}\n",
      "{'loss': 3.317, 'grad_norm': 8.347710609436035, 'learning_rate': 1.5666666666666667e-05, 'epoch': 0.14}\n",
      "{'loss': 3.4152, 'grad_norm': 7.848019123077393, 'learning_rate': 1.5583333333333334e-05, 'epoch': 0.14}\n",
      "{'loss': 3.2744, 'grad_norm': 7.915624141693115, 'learning_rate': 1.55e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3332, 'grad_norm': 8.678443908691406, 'learning_rate': 1.5416666666666668e-05, 'epoch': 0.14}\n",
      "{'loss': 3.3273, 'grad_norm': 8.781991004943848, 'learning_rate': 1.5333333333333334e-05, 'epoch': 0.15}\n",
      "{'loss': 3.2453, 'grad_norm': 9.230422973632812, 'learning_rate': 1.525e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3287, 'grad_norm': 8.362935066223145, 'learning_rate': 1.5166666666666668e-05, 'epoch': 0.15}\n",
      "{'loss': 3.4807, 'grad_norm': 9.844365119934082, 'learning_rate': 1.5083333333333335e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3684, 'grad_norm': 8.223421096801758, 'learning_rate': 1.5e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3283, 'grad_norm': 7.718616962432861, 'learning_rate': 1.4916666666666667e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3137, 'grad_norm': 8.648480415344238, 'learning_rate': 1.4833333333333336e-05, 'epoch': 0.15}\n",
      "{'loss': 3.282, 'grad_norm': 8.6078519821167, 'learning_rate': 1.475e-05, 'epoch': 0.15}\n",
      "{'loss': 3.4721, 'grad_norm': 8.109246253967285, 'learning_rate': 1.4666666666666668e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3887, 'grad_norm': 8.116412162780762, 'learning_rate': 1.4583333333333335e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3443, 'grad_norm': 8.692269325256348, 'learning_rate': 1.45e-05, 'epoch': 0.15}\n",
      "{'loss': 3.2387, 'grad_norm': 9.83276653289795, 'learning_rate': 1.4416666666666667e-05, 'epoch': 0.15}\n",
      "{'loss': 3.1842, 'grad_norm': 8.339694023132324, 'learning_rate': 1.4333333333333334e-05, 'epoch': 0.15}\n",
      "{'loss': 3.2939, 'grad_norm': 8.549901008605957, 'learning_rate': 1.4249999999999999e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3814, 'grad_norm': 8.735513687133789, 'learning_rate': 1.4166666666666668e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3877, 'grad_norm': 8.24804401397705, 'learning_rate': 1.4083333333333335e-05, 'epoch': 0.15}\n",
      "{'loss': 3.1799, 'grad_norm': 8.465343475341797, 'learning_rate': 1.4000000000000001e-05, 'epoch': 0.15}\n",
      "{'loss': 3.2131, 'grad_norm': 8.784497261047363, 'learning_rate': 1.3916666666666667e-05, 'epoch': 0.15}\n",
      "{'loss': 3.351, 'grad_norm': 9.219685554504395, 'learning_rate': 1.3833333333333334e-05, 'epoch': 0.15}\n",
      "{'loss': 3.2861, 'grad_norm': 8.441755294799805, 'learning_rate': 1.3750000000000002e-05, 'epoch': 0.15}\n",
      "{'loss': 3.2709, 'grad_norm': 9.103883743286133, 'learning_rate': 1.3666666666666666e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3539, 'grad_norm': 9.178157806396484, 'learning_rate': 1.3583333333333334e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3813, 'grad_norm': 8.6749849319458, 'learning_rate': 1.3500000000000001e-05, 'epoch': 0.15}\n",
      "{'loss': 3.1871, 'grad_norm': 7.941662788391113, 'learning_rate': 1.3416666666666666e-05, 'epoch': 0.15}\n",
      "{'loss': 3.315, 'grad_norm': 8.319173812866211, 'learning_rate': 1.3333333333333333e-05, 'epoch': 0.15}\n",
      "{'loss': 3.2736, 'grad_norm': 9.799100875854492, 'learning_rate': 1.3250000000000002e-05, 'epoch': 0.15}\n",
      "{'loss': 3.3332, 'grad_norm': 8.37435245513916, 'learning_rate': 1.3166666666666665e-05, 'epoch': 0.15}\n",
      "{'loss': 3.4062, 'grad_norm': 9.001876831054688, 'learning_rate': 1.3083333333333334e-05, 'epoch': 0.15}\n",
      "{'loss': 3.1256, 'grad_norm': 8.856925010681152, 'learning_rate': 1.3000000000000001e-05, 'epoch': 0.15}\n",
      "{'loss': 3.2559, 'grad_norm': 8.924695014953613, 'learning_rate': 1.2916666666666668e-05, 'epoch': 0.16}\n",
      "{'loss': 3.341, 'grad_norm': 9.240407943725586, 'learning_rate': 1.2833333333333333e-05, 'epoch': 0.16}\n",
      "{'loss': 3.4248, 'grad_norm': 9.840073585510254, 'learning_rate': 1.2750000000000002e-05, 'epoch': 0.16}\n",
      "{'loss': 3.358, 'grad_norm': 7.990115165710449, 'learning_rate': 1.2666666666666668e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3131, 'grad_norm': 9.575222969055176, 'learning_rate': 1.2583333333333334e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3703, 'grad_norm': 9.22945499420166, 'learning_rate': 1.25e-05, 'epoch': 0.16}\n",
      " 75%|█████████████████████████████▎         | 4500/6000 [46:00<15:22,  1.63it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:12<00:12,  6.06s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:13<00:04,  4.28s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 32.506374, 'eval_rouge-2': 7.343648000000001, 'eval_rouge-l': 25.373693999999997, 'eval_bleu-4': 0.03568916055508483, 'eval_runtime': 25.1589, 'eval_samples_per_second': 1.987, 'eval_steps_per_second': 0.159, 'epoch': 0.16}\n",
      " 75%|█████████████████████████████▎         | 4500/6000 [46:25<15:22,  1.63it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:23<00:00,  6.08s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-4500\n",
      "{'loss': 3.4439, 'grad_norm': 9.226147651672363, 'learning_rate': 1.2416666666666667e-05, 'epoch': 0.16}\n",
      "{'loss': 3.1896, 'grad_norm': 10.666912078857422, 'learning_rate': 1.2333333333333334e-05, 'epoch': 0.16}\n",
      "{'loss': 3.366, 'grad_norm': 9.85698127746582, 'learning_rate': 1.225e-05, 'epoch': 0.16}\n",
      "{'loss': 3.34, 'grad_norm': 8.811808586120605, 'learning_rate': 1.2166666666666668e-05, 'epoch': 0.16}\n",
      "{'loss': 3.1742, 'grad_norm': 9.169299125671387, 'learning_rate': 1.2083333333333333e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3332, 'grad_norm': 10.328778266906738, 'learning_rate': 1.2e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3963, 'grad_norm': 8.840714454650879, 'learning_rate': 1.1916666666666667e-05, 'epoch': 0.16}\n",
      "{'loss': 3.2451, 'grad_norm': 8.658556938171387, 'learning_rate': 1.1833333333333334e-05, 'epoch': 0.16}\n",
      "{'loss': 3.332, 'grad_norm': 9.985967636108398, 'learning_rate': 1.175e-05, 'epoch': 0.16}\n",
      "{'loss': 3.2828, 'grad_norm': 10.28941535949707, 'learning_rate': 1.1666666666666668e-05, 'epoch': 0.16}\n",
      "{'loss': 3.2361, 'grad_norm': 10.120414733886719, 'learning_rate': 1.1583333333333333e-05, 'epoch': 0.16}\n",
      "{'loss': 3.4084, 'grad_norm': 8.795575141906738, 'learning_rate': 1.1500000000000002e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3195, 'grad_norm': 10.192977905273438, 'learning_rate': 1.1416666666666667e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3623, 'grad_norm': 9.50098705291748, 'learning_rate': 1.1333333333333334e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3121, 'grad_norm': 8.637879371643066, 'learning_rate': 1.125e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3949, 'grad_norm': 8.4100980758667, 'learning_rate': 1.1166666666666668e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3785, 'grad_norm': 10.55971622467041, 'learning_rate': 1.1083333333333335e-05, 'epoch': 0.16}\n",
      "{'loss': 3.5234, 'grad_norm': 9.431492805480957, 'learning_rate': 1.1000000000000001e-05, 'epoch': 0.16}\n",
      "{'loss': 3.3494, 'grad_norm': 9.447830200195312, 'learning_rate': 1.0916666666666667e-05, 'epoch': 0.16}\n",
      "{'loss': 3.4955, 'grad_norm': 9.024735450744629, 'learning_rate': 1.0833333333333334e-05, 'epoch': 0.16}\n",
      "{'loss': 3.4236, 'grad_norm': 9.728192329406738, 'learning_rate': 1.075e-05, 'epoch': 0.16}\n",
      "{'loss': 3.2838, 'grad_norm': 9.050262451171875, 'learning_rate': 1.0666666666666667e-05, 'epoch': 0.16}\n",
      "{'loss': 3.4207, 'grad_norm': 7.852713108062744, 'learning_rate': 1.0583333333333334e-05, 'epoch': 0.17}\n",
      "{'loss': 3.2502, 'grad_norm': 8.638714790344238, 'learning_rate': 1.05e-05, 'epoch': 0.17}\n",
      "{'loss': 3.4047, 'grad_norm': 9.736322402954102, 'learning_rate': 1.0416666666666668e-05, 'epoch': 0.17}\n",
      "{'loss': 3.3166, 'grad_norm': 8.540905952453613, 'learning_rate': 1.0333333333333333e-05, 'epoch': 0.17}\n",
      "{'loss': 3.3271, 'grad_norm': 9.163045883178711, 'learning_rate': 1.025e-05, 'epoch': 0.17}\n",
      "{'loss': 3.3309, 'grad_norm': 8.91942024230957, 'learning_rate': 1.0166666666666667e-05, 'epoch': 0.17}\n",
      "{'loss': 3.4037, 'grad_norm': 9.548807144165039, 'learning_rate': 1.0083333333333334e-05, 'epoch': 0.17}\n",
      "{'loss': 3.3945, 'grad_norm': 9.524276733398438, 'learning_rate': 1e-05, 'epoch': 0.17}\n",
      "{'loss': 3.5627, 'grad_norm': 9.238117218017578, 'learning_rate': 9.916666666666668e-06, 'epoch': 0.17}\n",
      "{'loss': 3.2658, 'grad_norm': 10.29826545715332, 'learning_rate': 9.833333333333333e-06, 'epoch': 0.17}\n",
      "{'loss': 3.1834, 'grad_norm': 8.175599098205566, 'learning_rate': 9.750000000000002e-06, 'epoch': 0.17}\n",
      "{'loss': 3.2344, 'grad_norm': 8.656023025512695, 'learning_rate': 9.666666666666667e-06, 'epoch': 0.17}\n",
      "{'loss': 3.327, 'grad_norm': 10.296929359436035, 'learning_rate': 9.583333333333334e-06, 'epoch': 0.17}\n",
      "{'loss': 3.1896, 'grad_norm': 8.667898178100586, 'learning_rate': 9.5e-06, 'epoch': 0.17}\n",
      "{'loss': 3.2566, 'grad_norm': 8.437251091003418, 'learning_rate': 9.416666666666667e-06, 'epoch': 0.17}\n",
      "{'loss': 3.3828, 'grad_norm': 9.068614959716797, 'learning_rate': 9.333333333333334e-06, 'epoch': 0.17}\n",
      "{'loss': 3.4051, 'grad_norm': 7.952920913696289, 'learning_rate': 9.25e-06, 'epoch': 0.17}\n",
      "{'loss': 3.2879, 'grad_norm': 9.414862632751465, 'learning_rate': 9.166666666666666e-06, 'epoch': 0.17}\n",
      "{'loss': 3.2338, 'grad_norm': 8.476527214050293, 'learning_rate': 9.083333333333333e-06, 'epoch': 0.17}\n",
      "{'loss': 3.3787, 'grad_norm': 9.19638442993164, 'learning_rate': 9e-06, 'epoch': 0.17}\n",
      "{'loss': 3.1926, 'grad_norm': 9.849149703979492, 'learning_rate': 8.916666666666667e-06, 'epoch': 0.17}\n",
      "{'loss': 3.3133, 'grad_norm': 9.005786895751953, 'learning_rate': 8.833333333333334e-06, 'epoch': 0.17}\n",
      "{'loss': 3.3035, 'grad_norm': 9.79958724975586, 'learning_rate': 8.75e-06, 'epoch': 0.17}\n",
      "{'loss': 3.4215, 'grad_norm': 8.472845077514648, 'learning_rate': 8.666666666666668e-06, 'epoch': 0.17}\n",
      "{'loss': 3.3012, 'grad_norm': 8.858019828796387, 'learning_rate': 8.583333333333333e-06, 'epoch': 0.17}\n",
      "{'loss': 3.2926, 'grad_norm': 9.153759956359863, 'learning_rate': 8.500000000000002e-06, 'epoch': 0.17}\n",
      "{'loss': 3.2248, 'grad_norm': 9.509319305419922, 'learning_rate': 8.416666666666667e-06, 'epoch': 0.17}\n",
      "{'loss': 3.1709, 'grad_norm': 8.194490432739258, 'learning_rate': 8.333333333333334e-06, 'epoch': 0.17}\n",
      " 83%|████████████████████████████████▌      | 5000/6000 [51:11<09:05,  1.83it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:02<00:02,  1.20s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:14<00:05,  5.64s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 31.794480000000004, 'eval_rouge-2': 7.483426, 'eval_rouge-l': 24.54927, 'eval_bleu-4': 0.03668736691970835, 'eval_runtime': 27.7941, 'eval_samples_per_second': 1.799, 'eval_steps_per_second': 0.144, 'epoch': 0.17}\n",
      " 83%|████████████████████████████████▌      | 5000/6000 [51:39<09:05,  1.83it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:15<00:00,  3.98s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-5000\n",
      "{'loss': 3.4059, 'grad_norm': 9.471234321594238, 'learning_rate': 8.25e-06, 'epoch': 0.17}\n",
      "{'loss': 3.2914, 'grad_norm': 9.979108810424805, 'learning_rate': 8.166666666666668e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3023, 'grad_norm': 7.85748815536499, 'learning_rate': 8.083333333333333e-06, 'epoch': 0.18}\n",
      "{'loss': 3.2576, 'grad_norm': 9.782031059265137, 'learning_rate': 8.000000000000001e-06, 'epoch': 0.18}\n",
      "{'loss': 3.2729, 'grad_norm': 10.026041030883789, 'learning_rate': 7.916666666666667e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3969, 'grad_norm': 10.367857933044434, 'learning_rate': 7.833333333333333e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3926, 'grad_norm': 7.932498455047607, 'learning_rate': 7.75e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3639, 'grad_norm': 9.085898399353027, 'learning_rate': 7.666666666666667e-06, 'epoch': 0.18}\n",
      "{'loss': 3.4123, 'grad_norm': 7.883116245269775, 'learning_rate': 7.583333333333334e-06, 'epoch': 0.18}\n",
      "{'loss': 3.2998, 'grad_norm': 8.342931747436523, 'learning_rate': 7.5e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3068, 'grad_norm': 8.419536590576172, 'learning_rate': 7.416666666666668e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3354, 'grad_norm': 8.461141586303711, 'learning_rate': 7.333333333333334e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3246, 'grad_norm': 9.418450355529785, 'learning_rate': 7.25e-06, 'epoch': 0.18}\n",
      "{'loss': 3.1639, 'grad_norm': 9.573352813720703, 'learning_rate': 7.166666666666667e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3291, 'grad_norm': 9.902292251586914, 'learning_rate': 7.083333333333334e-06, 'epoch': 0.18}\n",
      "{'loss': 3.2723, 'grad_norm': 9.658068656921387, 'learning_rate': 7.000000000000001e-06, 'epoch': 0.18}\n",
      "{'loss': 3.351, 'grad_norm': 9.716869354248047, 'learning_rate': 6.916666666666667e-06, 'epoch': 0.18}\n",
      "{'loss': 3.2402, 'grad_norm': 8.403421401977539, 'learning_rate': 6.833333333333333e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3488, 'grad_norm': 9.160897254943848, 'learning_rate': 6.750000000000001e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3848, 'grad_norm': 8.498379707336426, 'learning_rate': 6.666666666666667e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3809, 'grad_norm': 10.473445892333984, 'learning_rate': 6.583333333333333e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3377, 'grad_norm': 9.110550880432129, 'learning_rate': 6.5000000000000004e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3217, 'grad_norm': 9.476372718811035, 'learning_rate': 6.4166666666666665e-06, 'epoch': 0.18}\n",
      "{'loss': 3.4498, 'grad_norm': 8.409634590148926, 'learning_rate': 6.333333333333334e-06, 'epoch': 0.18}\n",
      "{'loss': 3.2377, 'grad_norm': 8.10154914855957, 'learning_rate': 6.25e-06, 'epoch': 0.18}\n",
      "{'loss': 3.2246, 'grad_norm': 10.063634872436523, 'learning_rate': 6.166666666666667e-06, 'epoch': 0.18}\n",
      "{'loss': 3.1906, 'grad_norm': 9.648463249206543, 'learning_rate': 6.083333333333334e-06, 'epoch': 0.18}\n",
      "{'loss': 3.0898, 'grad_norm': 8.547289848327637, 'learning_rate': 6e-06, 'epoch': 0.18}\n",
      "{'loss': 3.3051, 'grad_norm': 8.914985656738281, 'learning_rate': 5.916666666666667e-06, 'epoch': 0.18}\n",
      "{'loss': 3.1197, 'grad_norm': 8.983877182006836, 'learning_rate': 5.833333333333334e-06, 'epoch': 0.18}\n",
      "{'loss': 3.2875, 'grad_norm': 9.64533805847168, 'learning_rate': 5.750000000000001e-06, 'epoch': 0.19}\n",
      "{'loss': 3.2949, 'grad_norm': 8.537113189697266, 'learning_rate': 5.666666666666667e-06, 'epoch': 0.19}\n",
      "{'loss': 3.2002, 'grad_norm': 8.977639198303223, 'learning_rate': 5.583333333333334e-06, 'epoch': 0.19}\n",
      "{'loss': 3.35, 'grad_norm': 9.368500709533691, 'learning_rate': 5.500000000000001e-06, 'epoch': 0.19}\n",
      "{'loss': 3.2445, 'grad_norm': 9.046238899230957, 'learning_rate': 5.416666666666667e-06, 'epoch': 0.19}\n",
      "{'loss': 3.259, 'grad_norm': 8.34273910522461, 'learning_rate': 5.333333333333334e-06, 'epoch': 0.19}\n",
      "{'loss': 3.1865, 'grad_norm': 8.70893383026123, 'learning_rate': 5.25e-06, 'epoch': 0.19}\n",
      "{'loss': 3.4496, 'grad_norm': 8.592121124267578, 'learning_rate': 5.166666666666667e-06, 'epoch': 0.19}\n",
      "{'loss': 3.1375, 'grad_norm': 8.960515022277832, 'learning_rate': 5.0833333333333335e-06, 'epoch': 0.19}\n",
      "{'loss': 3.3396, 'grad_norm': 9.798237800598145, 'learning_rate': 5e-06, 'epoch': 0.19}\n",
      "{'loss': 3.4186, 'grad_norm': 8.766619682312012, 'learning_rate': 4.9166666666666665e-06, 'epoch': 0.19}\n",
      "{'loss': 3.3141, 'grad_norm': 9.045794486999512, 'learning_rate': 4.833333333333333e-06, 'epoch': 0.19}\n",
      "{'loss': 3.3193, 'grad_norm': 9.942800521850586, 'learning_rate': 4.75e-06, 'epoch': 0.19}\n",
      "{'loss': 3.2332, 'grad_norm': 10.404886245727539, 'learning_rate': 4.666666666666667e-06, 'epoch': 0.19}\n",
      "{'loss': 3.3336, 'grad_norm': 8.795268058776855, 'learning_rate': 4.583333333333333e-06, 'epoch': 0.19}\n",
      "{'loss': 3.4092, 'grad_norm': 9.232216835021973, 'learning_rate': 4.5e-06, 'epoch': 0.19}\n",
      "{'loss': 3.1623, 'grad_norm': 9.695556640625, 'learning_rate': 4.416666666666667e-06, 'epoch': 0.19}\n",
      "{'loss': 3.2938, 'grad_norm': 8.86252212524414, 'learning_rate': 4.333333333333334e-06, 'epoch': 0.19}\n",
      "{'loss': 3.3213, 'grad_norm': 8.640915870666504, 'learning_rate': 4.250000000000001e-06, 'epoch': 0.19}\n",
      "{'loss': 3.2652, 'grad_norm': 8.99549674987793, 'learning_rate': 4.166666666666667e-06, 'epoch': 0.19}\n",
      " 92%|███████████████████████████████████▊   | 5500/6000 [56:28<04:28,  1.87it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:12<00:12,  6.06s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:13<00:04,  4.23s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 32.686527999999996, 'eval_rouge-2': 7.465408000000001, 'eval_rouge-l': 24.330268, 'eval_bleu-4': 0.03625913037203113, 'eval_runtime': 27.1603, 'eval_samples_per_second': 1.841, 'eval_steps_per_second': 0.147, 'epoch': 0.19}\n",
      " 92%|███████████████████████████████████▊   | 5500/6000 [56:56<04:28,  1.87it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:14<00:00,  3.04s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-5500\n",
      "{'loss': 3.3143, 'grad_norm': 7.649356365203857, 'learning_rate': 4.083333333333334e-06, 'epoch': 0.19}\n",
      "{'loss': 3.3787, 'grad_norm': 7.952087879180908, 'learning_rate': 4.000000000000001e-06, 'epoch': 0.19}\n",
      "{'loss': 3.4451, 'grad_norm': 10.679082870483398, 'learning_rate': 3.916666666666667e-06, 'epoch': 0.19}\n",
      "{'loss': 3.3729, 'grad_norm': 10.170675277709961, 'learning_rate': 3.833333333333334e-06, 'epoch': 0.19}\n",
      "{'loss': 3.248, 'grad_norm': 9.055912971496582, 'learning_rate': 3.75e-06, 'epoch': 0.19}\n",
      "{'loss': 3.2783, 'grad_norm': 9.847769737243652, 'learning_rate': 3.666666666666667e-06, 'epoch': 0.19}\n",
      "{'loss': 3.2516, 'grad_norm': 8.305846214294434, 'learning_rate': 3.5833333333333335e-06, 'epoch': 0.19}\n",
      "{'loss': 3.3053, 'grad_norm': 8.941045761108398, 'learning_rate': 3.5000000000000004e-06, 'epoch': 0.19}\n",
      "{'loss': 3.3322, 'grad_norm': 8.321666717529297, 'learning_rate': 3.4166666666666664e-06, 'epoch': 0.2}\n",
      "{'loss': 3.293, 'grad_norm': 9.483357429504395, 'learning_rate': 3.3333333333333333e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3393, 'grad_norm': 8.799300193786621, 'learning_rate': 3.2500000000000002e-06, 'epoch': 0.2}\n",
      "{'loss': 3.2584, 'grad_norm': 9.031617164611816, 'learning_rate': 3.166666666666667e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3725, 'grad_norm': 9.853623390197754, 'learning_rate': 3.0833333333333336e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3146, 'grad_norm': 8.956135749816895, 'learning_rate': 3e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3359, 'grad_norm': 9.437972068786621, 'learning_rate': 2.916666666666667e-06, 'epoch': 0.2}\n",
      "{'loss': 3.4406, 'grad_norm': 8.728104591369629, 'learning_rate': 2.8333333333333335e-06, 'epoch': 0.2}\n",
      "{'loss': 3.2969, 'grad_norm': 8.783916473388672, 'learning_rate': 2.7500000000000004e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3939, 'grad_norm': 9.064254760742188, 'learning_rate': 2.666666666666667e-06, 'epoch': 0.2}\n",
      "{'loss': 3.2914, 'grad_norm': 8.727498054504395, 'learning_rate': 2.5833333333333333e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3182, 'grad_norm': 10.230027198791504, 'learning_rate': 2.5e-06, 'epoch': 0.2}\n",
      "{'loss': 3.4146, 'grad_norm': 10.365975379943848, 'learning_rate': 2.4166666666666667e-06, 'epoch': 0.2}\n",
      "{'loss': 3.2604, 'grad_norm': 9.098234176635742, 'learning_rate': 2.3333333333333336e-06, 'epoch': 0.2}\n",
      "{'loss': 3.298, 'grad_norm': 10.451010704040527, 'learning_rate': 2.25e-06, 'epoch': 0.2}\n",
      "{'loss': 3.4172, 'grad_norm': 8.939481735229492, 'learning_rate': 2.166666666666667e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3859, 'grad_norm': 9.279712677001953, 'learning_rate': 2.0833333333333334e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3563, 'grad_norm': 9.357335090637207, 'learning_rate': 2.0000000000000003e-06, 'epoch': 0.2}\n",
      "{'loss': 3.2314, 'grad_norm': 9.096900939941406, 'learning_rate': 1.916666666666667e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3303, 'grad_norm': 10.188029289245605, 'learning_rate': 1.8333333333333335e-06, 'epoch': 0.2}\n",
      "{'loss': 3.4049, 'grad_norm': 9.146810531616211, 'learning_rate': 1.7500000000000002e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3783, 'grad_norm': 8.981389999389648, 'learning_rate': 1.6666666666666667e-06, 'epoch': 0.2}\n",
      "{'loss': 3.2986, 'grad_norm': 8.68647575378418, 'learning_rate': 1.5833333333333336e-06, 'epoch': 0.2}\n",
      "{'loss': 3.2004, 'grad_norm': 8.52177906036377, 'learning_rate': 1.5e-06, 'epoch': 0.2}\n",
      "{'loss': 3.24, 'grad_norm': 9.401426315307617, 'learning_rate': 1.4166666666666667e-06, 'epoch': 0.2}\n",
      "{'loss': 3.2563, 'grad_norm': 9.654617309570312, 'learning_rate': 1.3333333333333334e-06, 'epoch': 0.2}\n",
      "{'loss': 3.2932, 'grad_norm': 8.818561553955078, 'learning_rate': 1.25e-06, 'epoch': 0.2}\n",
      "{'loss': 3.1479, 'grad_norm': 7.829835891723633, 'learning_rate': 1.1666666666666668e-06, 'epoch': 0.2}\n",
      "{'loss': 3.1436, 'grad_norm': 9.55402946472168, 'learning_rate': 1.0833333333333335e-06, 'epoch': 0.2}\n",
      "{'loss': 3.3414, 'grad_norm': 7.913792133331299, 'learning_rate': 1.0000000000000002e-06, 'epoch': 0.21}\n",
      "{'loss': 3.1971, 'grad_norm': 9.02700424194336, 'learning_rate': 9.166666666666667e-07, 'epoch': 0.21}\n",
      "{'loss': 3.2711, 'grad_norm': 9.06412124633789, 'learning_rate': 8.333333333333333e-07, 'epoch': 0.21}\n",
      "{'loss': 3.3998, 'grad_norm': 9.191438674926758, 'learning_rate': 7.5e-07, 'epoch': 0.21}\n",
      "{'loss': 3.5316, 'grad_norm': 9.381632804870605, 'learning_rate': 6.666666666666667e-07, 'epoch': 0.21}\n",
      "{'loss': 3.302, 'grad_norm': 10.547529220581055, 'learning_rate': 5.833333333333334e-07, 'epoch': 0.21}\n",
      "{'loss': 3.4312, 'grad_norm': 9.428852081298828, 'learning_rate': 5.000000000000001e-07, 'epoch': 0.21}\n",
      "{'loss': 3.3924, 'grad_norm': 8.690837860107422, 'learning_rate': 4.1666666666666667e-07, 'epoch': 0.21}\n",
      "{'loss': 3.4475, 'grad_norm': 9.377341270446777, 'learning_rate': 3.3333333333333335e-07, 'epoch': 0.21}\n",
      "{'loss': 3.3461, 'grad_norm': 9.86107063293457, 'learning_rate': 2.5000000000000004e-07, 'epoch': 0.21}\n",
      "{'loss': 3.3662, 'grad_norm': 8.110702514648438, 'learning_rate': 1.6666666666666668e-07, 'epoch': 0.21}\n",
      "{'loss': 3.3271, 'grad_norm': 8.966264724731445, 'learning_rate': 8.333333333333334e-08, 'epoch': 0.21}\n",
      "{'loss': 3.4078, 'grad_norm': 9.336196899414062, 'learning_rate': 0.0, 'epoch': 0.21}\n",
      "100%|█████████████████████████████████████| 6000/6000 [1:01:46<00:00,  1.71it/s]***** Running Evaluation *****\n",
      "  Num examples = 50\n",
      "  Batch size = 16\n",
      "\n",
      "  0%|                                                     | 0/4 [00:00<?, ?it/s]\u001b[A\n",
      " 50%|██████████████████████▌                      | 2/4 [00:02<00:02,  1.03s/it]\u001b[A\n",
      " 75%|█████████████████████████████████▊           | 3/4 [00:03<00:01,  1.32s/it]\u001b[A\n",
      "                                                                                \u001b[A\n",
      "\u001b[A{'eval_rouge-1': 32.73556, 'eval_rouge-2': 6.820638, 'eval_rouge-l': 24.095019999999995, 'eval_bleu-4': 0.03493572063129193, 'eval_runtime': 25.2093, 'eval_samples_per_second': 1.983, 'eval_steps_per_second': 0.159, 'epoch': 0.21}\n",
      "100%|█████████████████████████████████████| 6000/6000 [1:02:11<00:00,  1.71it/s]\n",
      "100%|█████████████████████████████████████████████| 4/4 [00:12<00:00,  4.22s/it]\u001b[A\n",
      "                                                                                \u001b[ASaving model checkpoint to ./output/checkpoint-6000\n",
      "\n",
      "\n",
      "Training completed. Do not forget to share your model on huggingface.co/models =)\n",
      "\n",
      "\n",
      "{'train_runtime': 3731.5089, 'train_samples_per_second': 6.432, 'train_steps_per_second': 1.608, 'train_loss': 3.3839729817708335, 'epoch': 0.21}\n",
      "100%|█████████████████████████████████████| 6000/6000 [1:02:11<00:00,  1.61it/s]\n",
      "***** Running Prediction *****\n",
      "  Num examples = 1070\n",
      "  Batch size = 16\n",
      "100%|███████████████████████████████████████████| 67/67 [09:56<00:00,  8.91s/it]\n"
     ]
    }
   ],
   "source": [
    "!CUDA_VISIBLE_DEVICES=0 NCCL_P2P_DISABLE=\"1\" NCCL_IB_DISABLE=\"1\" python finetune_hf.py  data/AdvertiseGen_fix  THUDM/chatglm3-6b  configs/lora.yaml"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d9418f6c5c264601",
   "metadata": {
    "collapsed": false,
    "id": "d9418f6c5c264601",
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "## 3. 使用微调的数据集进行推理\n",
    "在完成微调任务之后，我们可以查看到 `output` 文件夹下多了很多个`checkpoint-*`的文件夹，这些文件夹代表了训练的轮数。\n",
    "我们选择最后一轮的微调权重，并使用inference进行导入。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "5060015c24e97ae",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2024-04-14T06:23:52.725227Z",
     "start_time": "2024-04-14T06:23:41.284552Z"
    },
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "5060015c24e97ae",
    "outputId": "d3f03d0d-46bf-4c74-9b00-dc0160da0e15"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Loading checkpoint shards: 100%|██████████████████| 7/7 [00:01<00:00,  4.95it/s]\n",
      "Setting eos_token is not supported, use the default one.\n",
      "Setting pad_token is not supported, use the default one.\n",
      "Setting unk_token is not supported, use the default one.\n",
      "这款连衣裙采用网纱拼接设计，性感魅力十足，不规则的木耳边拼接，精致细腻，时尚感十足。松紧抽褶设计，修饰身形，显瘦有型。套头设计，方便穿脱，不伤手。拉链门襟，安全方便。百褶裙摆，飘逸优雅。\n"
     ]
    }
   ],
   "source": [
    "!CUDA_VISIBLE_DEVICES=0 NCCL_P2P_DISABLE=\"1\" NCCL_IB_DISABLE=\"1\" python inference_hf.py output/checkpoint-6000/ --prompt \"类型#裙*版型#显瘦*材质#网纱*风格#性感*裙型#百褶*裙下摆#压褶*裙长#连衣裙*裙衣门襟#拉链*裙衣门襟#套头*裙款式#拼接*裙款式#拉链*裙款式#木耳边*裙款式#抽褶*裙款式#不规则\""
   ]
  },
  {
   "cell_type": "markdown",
   "id": "18cd83087f096094",
   "metadata": {
    "collapsed": false,
    "id": "18cd83087f096094",
    "jupyter": {
     "outputs_hidden": false
    }
   },
   "source": [
    "## 4. 总结\n",
    "到此位置，我们就完成了使用单张 GPU Lora 来微调 ChatGLM3-6B 模型，使其能生产出更好的广告。\n",
    "在本章节中，你将会学会：\n",
    "+ 如何使用模型进行 Lora 微调\n",
    "+ 微调数据集的准备和对齐\n",
    "+ 使用微调的模型进行推理"
   ]
  }
 ],
 "metadata": {
  "accelerator": "GPU",
  "colab": {
   "gpuType": "V100",
   "machine_shape": "hm",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.14"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}
